[논문 리뷰] Inferencing Based on Unsupervised Learning of Disentangled Representations

Tobias Hinz, Stefan Wermter|arXiv (Cornell University)|2018. 03. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 3인용 수 8

한 줄 요약

이 논문은 생성자, 판별자 및 전용 인코더를 결합한 GAN 기반 프레임워크인 Bidirectional-InfoGAN을 제안한다. 이는 레이블 없이도 데이터의 분리된, 해석 가능한 표현을 비지도 학습 방식으로 학습한다. 인코더는 실재 데이터를 디지트 식별자, 선 굵기, 얼굴 특성 등의 의미 있는 변동 요인으로 매핑하여 레이블 없이 추론 및 제어 가능한 이미지 생성을 가능하게 하며, MNIST에서 디지트 클래스 추론 정확도가 96.61%에 이를 수 있다.

ABSTRACT

Combining Generative Adversarial Networks (GANs) with encoders that learn to encode data points has shown promising results in learning data representations in an unsupervised way. We propose a framework that combines an encoder and a generator to learn disentangled representations which encode meaningful information about the data distribution without the need for any labels. While current approaches focus mostly on the generative aspects of GANs, our framework can be used to perform inference on both real and generated data points. Experiments on several data sets show that the encoder learns interpretable, disentangled representations which encode descriptive properties and can be used to sample images that exhibit specific characteristics.

연구 동기 및 목표

• 레이블이 없는 데이터로부터 분리된, 해석 가능한 표현을 학습하는 것.
• 판별자가 추론에 사용될 경우 의미 있는 데이터 요인을 학습하지 않을 수 있는 한계를 해결하는 것.
• 단일 통합 프레임워크를 통해 비지도 설정에서 학습된 상태에서 생성 및 추론을 모두 가능하게 하는 것.
• 잠재 코드 내에서 분리된 상태를 유지하면서도 알려지지 않은 데이터 생성 요인을 발견하는 것.
• 레이블이 없는 데이터로부터 의미 있는 분리된 특징을 학습한 후, 후속 작업을 위한 사전 훈련 방법을 제공하는 것.

제안 방법

• 생성자, 판별자 및 전용 인코더 네트워크를 이원적 GAN 아키텍처에 통합한다.
• 잠재 코드를 조건부 코드 $c$ (분리된 요인을 위한) 와 노이즈 $z$ 로 분할하고, $c$ 와 생성된 이미지 간의 상호정보를 최대화한다.
• 판별자가 입력을 실재 또는 생성된 것으로 분류하는 적대적 훈련을 수행하며, 인코더는 실재 이미지에서 생성자의 입력을 재구성하려고 한다.
• 생성자가 잠재 코드 $c$ 의 특정 부분과 이미지의 특정 특징을 연관시키도록 유도하기 위해 상호정보 손실을 적용한다.
• 생성자, 인코더, 판별자를 동시에 최적화하는 수정된 GAN 목표를 사용하여 분리된 표현을 학습한다.
• 잠재 코드에 대한 사전 분포를 도입하여 분리된 표현을 지원하며, 단순한 사전 분포(예: 정규분포 또는 균일분포)를 대체한다.

실험 결과

연구 질문

• RQ1 레이블이 전혀 없는 조건에서 인코더를 갖춘 GAN 기반 프레임워크가 데이터의 분리된 표현을 학습할 수 있는가?
• RQ2 인코더 네트워크가 디지트 식별자나 얼굴 특성와 같은 실제 데이터 요인과 대응하는 해석 가능한 의미 있는 표현을 생성하는가?
• RQ3 실재 데이터를 분리된 잠재 코드로 매핑함으로써 이 프레임워크가 실재 데이터에 대해 신뢰할 수 있는 추론을 수행할 수 있는가?
• RQ4 이 모델이 비지도 방식으로 알려지지 않은 또는 이전에 레이블이 지정되지 않은 데이터 생성 요인을 어느 정도 발견할 수 있는가?
• RQ5 학습된 표현이 분류나 제어 가능한 이미지 생성과 같은 후속 작업을 얼마나 잘 지원하는가?

주요 결과

• MNIST에서 인코더는 레이블 없이도 서로 다른 디지트 클래스에 대해 구별되는 분류 코드를 할당하며, 테스트 정확도가 96.61%에 이를 수 있다.
• 모델은 선 굵기와 디지트 회전을 연속적인 잠재 변수로 분리하여, 이러한 특성에 기반한 제어 가능한 이미지 샘플링을 가능하게 한다.
• CelebA에서 모델은 안경, 헤어 컬러, 배경 색상과 같은 해석 가능한 분리된 요인을 학습하며, 이는 시각적 샘플링을 통해 확인되었다.
• SVHN에서 모델은 디지트 유형, 배경 색상, 이미지 대비와 같은 분리된 요인을 식별하여 다양한 데이터셋에 대한 일반화 능력을 보였다.
• 분리된 코드 $c$ 의 특정 값에 조건을 줌으로써 프레임워크는 레이블이 명시되지 않은 속성에 대해서도 제어 가능한 이미지 생성을 가능하게 한다.
• InfoGAN과 같은 비지도 기반 기준 모델보다 성능이 뛰어나며, 반지도 학습 방법과 비교해도 추론 정확도에서 유사하거나 뛰어나면서도 완전히 비지도 상태를 유지한다.