[논문 리뷰] Weakly Supervised Disentanglement by Pairwise Similarities

Junxiang Chen, Kayhan Batmanghelich|arXiv (Cornell University)|2019. 06. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 7

한 줄 요약

이 논문은 강한 레이블이 없을 때도 잠재 인자 분리 성능을 향상시킬 수 있도록 쌍별 유사도(이진 또는 실수형)를 약한 지도 학습으로 사용하는 변동형 오토인코더(VAE)를 위한 약한 지도 학습 기반 분리 방법을 제안한다. 특정 잠재 변수의 하위 집합에 의해 유사도가 결정되며, 이들의 정보 용량을 제약함으로써, 기준 인자에 대한 분리 성능을 크게 향상시킨다. 이는 벤치마크 및 만성 폐쇄성 폐질환(COPD) 영상 데이터셋에서 비지도 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

Recently, researches related to unsupervised disentanglement learning with deep generative models have gained substantial popularity. However, without introducing supervision, there is no guarantee that the factors of interest can be successfully recovered. Motivated by a real-world problem, we propose a setting where the user introduces weak supervision by providing similarities between instances based on a factor to be disentangled. The similarity is provided as either a binary (yes/no) or a real-valued label describing whether a pair of instances are similar or not. We propose a new method for weakly supervised disentanglement of latent variables within the framework of Variational Autoencoder. Experimental results demonstrate that utilizing weak supervision improves the performance of the disentanglement method substantially.

연구 동기 및 목표

• 강한 사전 지식 없이도 의미 있는 변동 인자를 회복할 수 있는 보장이 없기 때문에, 비지도 분리 학습의 과제를 해결하기 위해.
• 사용자가 관심 있는 특정 인자에 기반해 데이터 인스턴스 간의 쌍별 유사도(이진 또는 실수형)를 제공하는 실용적인 약한 지도 학습 설정을 제안하기 위해.
• 데이터 샘플과 쌍별 유사도를 동시에 모델링하는 VAE 기반 방법을 개발하여, 목표 인자를 분리하고 다른 인자들에 의한 간섭을 억제하기 위해.
• 강한 레이블이 제공되지 않는 실제 COPD 영상 데이터셋과 기준 벤치마크 데이터셋에서 성능을 평가하며, 폐기능 측정치(Spirometric measures)로부터 유도된 유사도 기반 지도 학습을 사용하기 위해.

제안 방법

• 모델은 관측된 데이터 샘플과 쌍별 유사도 레이블을 함께 모델링하기 위해 공동 가능도 함수를 사용하여 VAE 프레임워크를 확장한다.
• 쌍별 유사도는 특정 잠재 변수의 하위 집합에 조건부로 의존하며, 나머지 변수들과는 독립적으로 모델링되어 목표 인자의 분리를 보장한다.
• 유사도를 담당하는 잠재 변수들의 정보 용량을 제약하는 정규화 항을 도입하여, 이들이 오직 목표 인자만을 포착하도록 유도한다.
• 재구성 손실, KL 발산, 그리고 유사도 전용 항을 포함한 기초 하한 추정(Evidence Lower Bound, ELBO) 목적 함수를 사용해 모델을 훈련한다.
• 유사도 가능도는 잠재 코드에서 예측된 유사도 점수로 매핑하는 미분 가능한 함수로 모델링되어, 엔드 투 엔드 훈련이 가능하다.
• 교차 검증을 통해 로그 가능도와 MIG와 같은 분리 성능 지표를 최적화하기 위해 β, η₁, η₂ 등의 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 강한 레이블이 없을 때, 쌍별 유사도 지도 학습이 비지도 VAE의 분리 성능을 향상시킬 수 있는가?
• RQ2 이진 또는 실수형 쌍별 유사도의 포함 여부가 VAE에서 특정 잠재 인자의 분리에 어떤 영향을 미치는가?
• RQ3 쌍별 레이블의 수가 늘어날수록 분리 성능에 어떤 영향을 미치며, 성능가 포화점은 언제 도달하는가?
• RQ4 모델은 노이즈가 섞인 쌍별 유사도 레이블에 얼마나 민감한가? 어느 정도의 노이즈 수준까지 견딜 수 있는가?
• RQ5 제안된 방법이 의료 영상 데이터에서 질환의 중증도를 분리하는 데 있어 비지도 및 강한 지도 학습 기반 기준보다 뛰어나게 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 MIG 및 기타 지표로 측정했을 때, 기준 벤치마크 데이터셋과 COPD 영상 데이터셋 모두에서 비지도 기준보다 뚜렷한 성능 향상을 보였다.
• 쌍별 레이블의 수가 0.01% 미만(10,000개의 쌍 중 1개)일 때도 성능 향상이 뚜렷하여, 높은 샘플 효율성을 입증했다.
• 유사도 레이블의 노이즈가 증가함에 따라 성능은 저하되나, 노이즈 수준 γ ≤ 0.1일 경우 기준보다 유사하거나 더 낫게 유지된다.
• z^(u)를 회귀기로 사용하여 FEV1, Emphysema%, GasTrap%, GOLD 점수 등의 임상적 COPD 중증도 측정치를 예측하는 데서도 비지도 기준보다 성능이 뛰어나다.
• 최적의 하이퍼파라미터로 β ∈ [2,10], η₁ = 1e3, η₂ = 2를 도출하였으며, 이 값 이외에서는 민감도가 최소한이었다.
• 질적 샘플을 통해 MNIST에서 숫자 클래스 인자를 성공적으로 분리하였고, 생성된 숫자들 사이에서 일관된 글쓰기 스타일이 유지됨을 확인했다.