[논문 리뷰] An Improved Semi-Supervised VAE for Learning Disentangled Representations

Weili Nie, Zichao Wang외 2명|arXiv (Cornell University)|2020. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 5

한 줄 요약

이 논문은 가용한 경우에 추론된 잠재 코드를 진정한 레이블로 대체하는 레이블 교체(Label Replacement)를 제안하여, 반감독 학습 VAE(LaRVAE)에서 분리 표현 학습을 향상시킨다. 이 방법은 디코더를 진짜 레이블로 정규화함으로써 분리도를 향상시키며, 합성 및 실세계 데이터셋에서 분리도 품질과 제어 가능한 생성 측면에서 이전의 반감독 VAE를 능가한다.

ABSTRACT

Learning interpretable and disentangled representations is a crucial yet challenging task in representation learning. In this work, we focus on semi-supervised disentanglement learning and extend work by Locatello et al. (2019) by introducing another source of supervision that we denote as label replacement. Specifically, during training, we replace the inferred representation associated with a data point with its ground-truth representation whenever it is available. Our extension is theoretically inspired by our proposed general framework of semi-supervised disentanglement learning in the context of VAEs which naturally motivates the supervised terms commonly used in existing semi-supervised VAEs (but not for disentanglement learning). Extensive experiments on synthetic and real datasets demonstrate both quantitatively and qualitatively the ability of our extension to significantly and consistently improve disentanglement with very limited supervision.

연구 동기 및 목표

• 가용한 진정한 레이블이 제한적인 반감독 설정에서 분리 표현을 학습하는 데 도전 과제를 해결하기 위해.
• 제한된 감독 정보를 통해 비감독 분리 학습에서 발생하는 식별 불가 문제를 극복하기 위해.
• 레이블 데이터와 VAE의 생성 구조를 효과적으로 활용하여 분리도 성능을 향상시키기 위해.
• 반감독 VAE에서 레이블 교체와 표준 레이블 손실을 통합하는 이론적으로 탄탄한 프레임워크를 개발하기 위해.
• 다양한 데이터셋에서 분리도 품질과 제어 가능한 생성 측면에서 일관된 향상을 입증하기 위해.

제안 방법

• 레이블 교체 도입: 훈련 중에 가용한 경우, 추론된 잠재 코드 $ q_{\phi}(\bm{\xi}|\mathbf{x}) $ 를 진정한 레이블 $ \mathbf{y} $ 로 대체한다.
• 디코더 손실을 수정하여 진정한 레이블을 사용해 데이터 생성을 유도하는 정규화된 디코더 손실을 포함한다.
• VAE 기반의 일반적인 반감독 분리 표현 학습 프레임워크를 제안하여, 레이블 교체와 레이블 손실 항목을 자연스럽게 통합한다.
• 분리도를 장려하기 위해 총 상관관계 정규화를 적용한 인과적 사전 분포 $ p(\bm{\xi}) $ 와 딥 네ural 네트워크 디코더 $ p_{\theta}(\mathbf{x}|\bm{\xi}) $ 를 사용한다.
• 표준 비감독 손실과 레이블 교체 정규화를 포함하는 수정된 ELBO 목표함수를 사용해 모델을 훈련한다.
• 분리도 평가를 위해 레이블 탐색을 적용한다: 한 레이블 차원을 변형하면서 나머지 차원은 고정하고, 생성된 이미지를 분석하여 제어력과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 제한된 진정한 레이블이 반감독 VAE 환경에서 분리도를 크게 향상시킬 수 있는가?
• RQ2 표준 레이블 손실에 비해 레이블 교체가 분리도 성능 향상에 얼마나 효과적인가?
• RQ3 레이블 교체가 분리 표현 학습에서 생성 샘플의 제어 가능성에 얼마나 기여하는가?
• RQ4 제안된 방법은 생성 데이터의 모드 붕괴나 분포 이탈을 줄이면서도 분리도 품질을 유지하는가?
• RQ5 레이블 교체 메커니즘은 반감독 분리 표현 학습을 위한 통합된 이론적 프레임워크 내에서 정당화될 수 있는가?

주요 결과

• LaRVAE는 합성 데이터셋(dSprites, 3DShapes)과 실세계 데이터셋(CelebA) 모두에서 베이스라인 SS-β-TCVAE에 비해 분리도 성능을 크게 향상시켰다.
• 레이블 탐색 결과, LaRVAE는 의도한 속성만 변화시키고 나머지 속성의 값을 올바르게 유지하는 이미지를 생성하는 반면, 베이스라인은 그렇지 못했다.
• 3DShapes에서 LaRVAE는 레이블 차원이 지정한 대로 객체의 색상, 크기, 형태를 변화시키는 이미지를 성공적으로 생성했지만, 베이스라인은 올바른 속성을 제어하지 못했다.
• CelebA에서 LaRVAE는 해당 레이블 차원을 탐색할 때 얼굴 속성(예: 창백한 얼굴, 앞발, 안경)이 올바르게 반영된 이미지를 생성하여 베이스라인보다 더 뛰어난 제어력을 보였다.
• 정성적 결과에서는 LaRVAE가 고정된 레이블 차원에 대해 생성된 이미지 간에 속성 일관성을 유지하는 반면, 베이스라인은 종종 잘못된 속성(예: 잘못된 벽 색상 또는 물체 색상)을 도입했다.
• 소량의 아티팩트(예: 잘못된 벽 색상)가 존재하더라도, LaRVAE는 정량적 분리도 지표와 정성적 생성 품질 모두에서 일관되게 베이스라인을 능가했다.