[논문 리뷰] Robust Ordinal VAE: Employing Noisy Pairwise Comparisons for Disentanglement

Junxiang Chen, Kayhan Batmanghelich|arXiv (Cornell University)|2019. 10. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 6

한 줄 요약

이 논문은 노이즈가 있는 순서형 쌍별 비교를 활용하여 데이터의 잠재적 변동 요인을 분리하는 데 중점을 두는 변동형 오토인코더인 Robust Ordinal VAE (ROVAE)를 제안한다. 각 비교에 대해 비음수 신뢰도 점수를 도입함으로써 ROVAE는 자동으로 신뢰할 수 없는 레이블을 식별하고 이를 낮게 평가하여, 특히 CT 스캔에서 COPD의 중증도를 모델링할 때 실용적이고 임상적 데이터에서 강건성과 분리 성능을 크게 향상시킨다.

ABSTRACT

Recent work by Locatello et al. (2018) has shown that an inductive bias is required to disentangle factors of interest in Variational Autoencoder (VAE). Motivated by a real-world problem, we propose a setting where such bias is introduced by providing pairwise ordinal comparisons between instances, based on the desired factor to be disentangled. For example, a doctor compares pairs of patients based on the level of severity of their illnesses, and the desired factor is a quantitive level of the disease severity. In a real-world application, the pairwise comparisons are usually noisy. Our method, Robust Ordinal VAE (ROVAE), incorporates the noisy pairwise ordinal comparisons in the disentanglement task. We introduce non-negative random variables in ROVAE, such that it can automatically determine whether each pairwise ordinal comparison is trustworthy and ignore the noisy comparisons. Experimental results demonstrate that ROVAE outperforms existing methods and is more robust to noisy pairwise comparisons in both benchmark datasets and a real-world application.

연구 동기 및 목표

• 오직 노이즈가 있는 순서형 쌍별 비교만을 제공하는 상황에서 잠재적 요인을 분리하는 데 도전하는 것.
• 각 쌍별 비교의 신뢰성을 자동으로 평가하고 훈련 중에 노이즈가 많은 레이블을 낮게 평가할 수 있는 방법을 개발하는 것.
• 특히 실제 의료 응용 분야에서 인간이 제공한 순서형 피드백이 신뢰할 수 없을 경우에도 분리 성능의 강건성을 향상시키는 것.
• 노이즈가 있는 비교에서 학습하는 것이 단순히 노이즈가 있는 레이블 자체를 사용하는 것보다 더 나은 분리 표현을 얻을 수 있음을 보여주는 것.

제안 방법

• ROVAE는 쌍별 순서형 비교를 약한 감독으로 통합함으로써 VAE 프레임워크를 확장하며, 각 비교는 인스턴스 i가 목표 요인에서 j보다 더 심각한지를 나타낸다.
• 모든 쌍별 비교에 대해 비음수 랜덤 변수 $ s_{ij} $ 를 도입하여 레이블 $ t_{ij} $ 의 신뢰도를 모델링하며, $ s_{ij} = 0 $ 은 레이블이 무시됨을 의미한다.
• 신뢰도 점수 $ s_{ij} $ 는 로그정규분포 prior $ \mathcal{L}N(\mu_w, \sigma_w^2) $ 를 사용하여 모델링하여, 종료형 훈련을 통해 어떤 비교가 신뢰할 만한지 학습할 수 있도록 한다.
• 모델은 재구성 손실, KL 발산, 그리고 학습된 신뢰도 점수 $ s_{ij} $ 로 가중치를 부여한 수정된 순서형 손실을 동시에 최적화한다.
• 후행 분포 $ q(s_{ij} | \mathbf{x}_i, \mathbf{x}_j) $ 는 암시적 추론을 통해 추정되어 훈련 중 동적 레이블 필터링을 가능하게 한다.
• 로지니얼 신뢰도 점수에 대해 재정의 기법을 사용하여 미분 가능 훈련과 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 VAE 기반 모델이 오직 노이즈가 있는 순서형 쌍별 비교만을 감독으로 사용할 때도 목표 요인을 효과적으로 분리할 수 있는가?
• RQ2 노이즈의 명시적 레이블링 없이도 모델이 자동으로 신뢰도가 낮은 쌍별 비교를 식별하고 낮게 평가할 수 있는가?
• RQ3 노이즈가 있는 비교에서 학습하는 것이 노이즈가 있는 레이블을 직접 사용하는 것보다 더 나은 분리 표현을 얻을 수 있는가?
• RQ4 쌍별 비교의 노이즈 수준이 증가함에 따라 모델의 성능은 어떻게 변하는가?
• RQ5 임상 환경에서 ROVAE는 기존의 순서형 레이블(예: GOLD 기준)보다 더 의미 있는 분리 표현을 발견할 수 있는가?

주요 결과

• 3D 체어 및 3D 샤프스 데이터셋에서 ROVAE는 VOVAE 및 모든 비지도 기반 기준선보다 높은 분리 점수를 기록했으며, 특히 노이즈가 있는 비교 조건에서 두드러진 성능을 보였다.
• COPD 임상 적용 사례에서 ROVAE는 Emphysema%와 GasTrap% 예측에서 VOVAE 및 비지도 방법을 능가했으며, $ \kappa $ 와 $ r^2 $ 지표를 사용해 평가했다.
• ROVAE는 GOLD 기준 자체보다도 Emphysema%와 GasTrap%를 더 정확하게 예측할 수 있는 잠재 표현을 학습했으며, 이는 질병 중증도에 대한 더 나은 대체 지표를 발견했다는 것을 의미한다.
• 노이즈 수준 $ \eta = 0.4 $ 일 때, 쌍별 비교의 42.1%가 $ s_{ij} < 1 $ 으로 할당되어 모델이 노이즈가 많은 레이블의 상당 부분을 자동으로 무시함을 확인했다.
• 모델의 성능은 하이퍼파rameter 설정에 대해 강건하며, 특히 $ \sigma_w^2 $ 가 적절히 설정된 경우에 효과적이다—너무 작으면 노이즈에 과적합되고, 너무 크면 유용한 레이블을 무시하게 된다.
• 후행 신뢰도 점수 $ q(s_{ij}) $ 는 0 근처와 100 이상 근처에 모드를 가진 이중 첨두 분포를 보이며, 모델이 신뢰할 만한 비교와 그렇지 않은 비교를 효과적으로 구분할 수 있음을 확인했다.