[논문 리뷰] Learning Disentangled Joint Continuous and Discrete Representations

Emilien Dupont|arXiv (Cornell University)|2018. 03. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 61

한 줄 요약

JointVAE는 감독되지 않는 변분 프레임워크에서 연속적 및 이산적 잠재 요인을 disentangled하게 학습하고, 이산 요인이 뚜렷할 때는 이산 요인이 두드러지지 않는 경우의 연속 기반 disentanglement를 능가합니다.

ABSTRACT

We present a framework for learning disentangled and interpretable jointly continuous and discrete representations in an unsupervised manner. By augmenting the continuous latent distribution of variational autoencoders with a relaxed discrete distribution and controlling the amount of information encoded in each latent unit, we show how continuous and categorical factors of variation can be discovered automatically from data. Experiments show that the framework disentangles continuous and discrete generative factors on various datasets and outperforms current disentangling methods when a discrete generative factor is prominent.

연구 동기 및 목표

• 데이터의 연속적 생성 요인과 이산적 생성 요인을 함께 disentangle해야 할 필요성과 동기를 제시합니다.
• 연속 잠재와 이산 잠잠자를 함께 모델링하는 변분 자동인코더 프레임워크를 제안합니다.
• 다양한 데이터셋에서 연속 요인과 함께 이산 요인을 비감독적으로 발견할 수 있도록 합니다.

제안 방법

• 연속 z와 이산 c를 갖는 결합 잠재 분포 q(z, c|x)를 도입합니다.
• z와 c에 대해 Cz와 Cc의 용량을 가지도록 분리된 KL 항을 포함하도록 β-VAE 목적함수를 확장합니다.
• 차등적 샘플링이 가능한 이산 변수를 Gumbel-Softmax(Concrete)으로 완화합니다.
• 잠재 용량 Cz와 Cc를 분리하고 점진적으로 증가시켜 두 잠재 채널에서의 학습을 촉진합니다.
• z는 Gaussian q(z|x)로 매개화하고 c는 Gumbel-Softmax q(c|x)로 매개화한 뒤 이를 디코딩에 연결(concatenate)합니다.
• CNN 기반 이미지 데이터와 호환되는 인코더/디코더 아키텍처를 제공하고 두 가지 잠재 유형에 대해 재표현 트릭(reparameterization tricks)을 사용합니다.

실험 결과

연구 질문

• RQ1 VAE 기반 프레임워크가 비감독적으로 연속적이고 이산적 요인을 disentangled하게 학습할 수 있는가?
• RQ2 연속 잠재 채널과 이산 잠재 채널 사이에서 정보 용량을 어떻게 배분하고 증가시켜 단일 유형으로의 붕괴를 피할 수 있는가?
• RQ3 JointVAE가 감독 없이도 (MNIST, FashionMNIST, CelebA, Chairs) 혼합 요인 데이터셋의 disentanglement에 대해 경험적 잠재력을 보여줄 수 있는가?

주요 결과

• JointVAE는 MNIST에서 이산 숫자 유형과 각도, 두께, 너비와 같은 연속 요인을 disentangle합니다.
• FashionMNIST에서 JointVAE는 소매 길이 및 색상과 같은 해석 가능한 요인을 발견하지만 일부 클래스는 여전히 얽혀 있습니다.
• CelebA에서 모델은 방위각(azimuth), 나이, 배경 색상과 같은 요인을 발견하면서도 실제 샘플의 질을 보존합니다.
• Chairs에서 JointVAE는 회전 및 스타일 관련 이산 요인과 함께 연속 변이도 식별합니다.
• dSprites에 대한 정량적 평가에서 경쟁력 있는 disentanglement 점수를 보이며, JointVAE는 4개의 연속 요인과 1개의 이산 요인을 포착합니다.
• 추론 네트워크는 속성(예: azimuth)을 비감독적으로 추론하고 잠재적 조작을 통해 이미지 편집을 가능하게 합니다.