[논문 리뷰] Disentangling Factors of Variation with Cycle-Consistent Variational Auto-Encoders

Ananya Harsh Jha, Saket Anand외 2명|arXiv (Cornell University)|2018. 04. 27.

Digital Media Forensic Detection참고 문헌 25인용 수 9

한 줄 요약

이 논문은 쌍방향 일致성(즉, 사이클 일치성)을 갖는 변동형 오토인코더(CC-VAEs)를 제안하여, 쌍방향 유사도 레이블을 통한 약한 감독만으로 이미지 내 특정 및 비특정 요인의 분리 표현을 학습한다. 인코딩된 잠재공간과 재구성된 잠재공간 간의 사이클 일치성을 강제함으로써 모델은 열악한 해를 방지하고, 적대적 학습 없이도 안정적이고 높은 수준의 분리 표현을 달성한다. 이는 잠재공간 차원이 다양하게 변화할 때에도 기존의 비적대적 방법들보다 분리도와 안정성 면에서 뛰어나다.

ABSTRACT

Generative models that learn disentangled representations for different factors of variation in an image can be very useful for targeted data augmentation. By sampling from the disentangled latent subspace of interest, we can efficiently generate new data necessary for a particular task. Learning disentangled representations is a challenging problem, especially when certain factors of variation are difficult to label. In this paper, we introduce a novel architecture that disentangles the latent space into two complementary subspaces by using only weak supervision in form of pairwise similarity labels. Inspired by the recent success of cycle-consistent adversarial architectures, we use cycle-consistency in a variational auto-encoder framework. Our non-adversarial approach is in contrast with the recent works that combine adversarial training with auto-encoders to disentangle representations. We show compelling results of disentangled latent subspaces on three datasets and compare with recent works that leverage adversarial training.

연구 동기 및 목표

• 강한 요인별 애너테이션 없이도 분리 표현을 학습하는 데 도전하는 것.
• 지정된(레이블된) 요인과 지정되지 않은(해로운) 요인을 효과적으로 분리하는 비적대적 생성 모델을 개발하는 것.
• 잠재공간 차원 선택에 대한 민감도를 줄여 표준 VAE에서 흔히 발생하는 열악한 해를 방지하는 것.
• 사이클 일치성이 지정된 요인과 비지정된 요인의 잠재공간 간 정보 유출을 최소화함으로써 분리 표현을 강제하는지 확인하는 것.
• 적대적 분리 방법의 약한 감독 대안을 제공하여 학습 불안정성과 열악한 일반화를 피하는 것.

제안 방법

• 모델은 지정된 요인(s)과 비지정된 요인(z) 각각에 대해 별도의 잠재공간을 사용하며, 각각 독립적인 사전 분포를 갖는다.
• 인코딩된 s와 z 공간에서 원본 입력을 재구성한 후, 재인코딩을 통해 사이클 일치성을 확보함으로써 사이클 일치 손실을 적용한다.
• 인코더는 입력 이미지를 s와 z 공간으로 매핑하고, 디코더는 s와 z에서 이미지를 재구성함으로써 재구성 과정이 분리 표현을 유지하도록 강제한다.
• 학습 목표는 표준 VAE의 재구성 손실 및 KL 발산 손실에 더해, 원본 데이터와 사이클 재구성 데이터 간의 편차를 페널티 처리하는 사이클 일치 손실을 조합한다.
• 쌍방향 유사도 레이블을 사용하여 동일한 지정된 요인(예: 동일한 숫자 클래스)을 가진 이미지를 그룹화함으로써, 요인별 애너테이션 없이도 약한 감독을 가능하게 한다.
• 아키텍처는 적대적 판별기 없이 스토하스틱 경사 하강법을 통해 엔드 투 엔드로 훈련되며, 이는 GAN 기반 대안보다 단순하고 안정적이다.

실험 결과

연구 질문

• RQ1 약한 감독 환경에서 사이클 일치성이 지정된 요인과 비지정된 요인의 분리를 효과적으로 수행할 수 있는가?
• RQ2 사이클 일치성을 갖춘 비적대적 VAE는 표준 VAE에서 흔히 발생하는, 디코더가 지정된 요인을 忽시하는 열악한 해를 피할 수 있는가?
• RQ3 지정된 요인과 비지정된 요인의 잠재공간 차원이 변화할 때 분리 표현은 얼마나 견고한가?
• RQ4 다른 이미지 간에 잠재요인을 보간하거나 교환함으로써 고품질이고 제어 가능한 이미지 샘플을 생성할 수 있는가?
• RQ5 강한 감독 없이도 사이클 일치성이 적대적 학습보다 더 나은 분리 표현을 이끌어내는가?

주요 결과

• 제안된 CC-VAE 모델은 고차원 잠재공간에서도 디코더가 지정된 잠재변수를 忽시하는 열악한 해를 효과적으로 방지한다.
• 모델은 MNIST, 2D Sprites, LineMod 세 가지 데이터셋에서 적대적 학습 없이도 안정적인 분리 표현을 보이며, 잠재공간 차원 조정에 대한 하이퍼파ram터 튜닝이 필요하지 않다.
• 이미지 생성 결과는 명확한 분리 표현을 보여주며, z 요인을 서로 교환하면 시점이나 질감의 자연스러운 변화가 발생하고, s 요인을 교환하면 의도한 대로 클래스 아이덴티티가 변화한다.
• s 및 z 공간에서의 선형 보간은 매끄럽고 의미 있는 전이를 보이며, 각 잠재공간이 별개의 분리된 요인을 잘 캡처하고 있음을 확인한다.
• 표준 정규분포에서 z를 샘플링하고 s를 고정함으로써 조건부 생성을 수행한 결과, 다양한 자연스러운 샘플이 생성되어 모델의 생성 능력을 확인한다.
• Szabó 등 [8]의 비적대적 방법과 비교해 CC-VAE는 다양한 잠재공간 차원에서 성능을 유지하는 반면, 후자는 차원 선택에 매우 민감하다.