[논문 리뷰] Multilinear Latent Conditioning for Generating Unseen Attribute Combinations

Markos Georgopoulos, Grigorios G. Chrysos외 2명|arXiv (Cornell University)|2020. 09. 09.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 조건부 Variational Autoencoder(cVAE)를 위한 다중선형 잠재 조건화 프레임워크를 제안하며, 속성 간의 곱셈 상호작용을 모델링하여 훈련 데이터에 없던 속성 조합을 생성한다. 잠재 공간 내의 레이블 기반 평균을 텐서 분해 기법인 Tucker 및 CP 분해를 사용해 학습함으로써, 모델은 훈련 데이터를 초월해 MNIST, Fashion-MNIST, CelebA에서 높은 품질의 훈련 데이터에 없던 조합을 합성할 수 있으며, 훈련 시 최대 20개의 30개 조합이 누락된 경우에도 성능을 유지한다.

ABSTRACT

Deep generative models rely on their inductive bias to facilitate generalization, especially for problems with high dimensional data, like images. However, empirical studies have shown that variational autoencoders (VAE) and generative adversarial networks (GAN) lack the generalization ability that occurs naturally in human perception. For example, humans can visualize a woman smiling after only seeing a smiling man. On the contrary, the standard conditional VAE (cVAE) is unable to generate unseen attribute combinations. To this end, we extend cVAE by introducing a multilinear latent conditioning framework that captures the multiplicative interactions between the attributes. We implement two variants of our model and demonstrate their efficacy on MNIST, Fashion-MNIST and CelebA. Altogether, we design a novel conditioning framework that can be used with any architecture to synthesize unseen attribute combinations.

연구 동기 및 목표

• 표준 조건부 VAE가 훈련 데이터에 존재하지 않는 조합(예: 훈련 데이터에만 미소 짓는 남성 존재 시, 여성의 미소를 가진 이미지 생성)을 생성하는 데 한계가 있다는 문제를 해결하기 위해.
• 잠재 공간 내에서 속성 간의 고차원 상호작용을 모델링하여, 훈련 세트에 존재하지 않는 조합으로의 일반화를 가능하게 하기 위해.
• 모든 생성 모델 아키텍처에 통합할 수 있는 조건화 프레임워크를 개발하여, 제로샷 속성 조합 생성을 향상시키기 위해.
• 결측된 속성 조합과 상관관계가 있는 레이블을 가진 벤치마크에서 모델 성능을 평가하여, 강인성과 일반화 능력을 입증하기 위해.
• 다양한 속성과 레이블이 없는 속성까지 처리할 수 있도록 프레임워크를 확장하여 실용적 적용 가능성을 높이기 위해.

제안 방법

• 입력 속성의 다중선형 함수를 사용해 잠재 사전분포의 평균을 모델링하는 다중선형 잠재 조건화 메커니즘을 제안하며, 텐서 분해 기법을 활용한다.
• 속성 간의 상호작용 텐서를 표현하기 위해 Tucker 및 CP 분해를 활용하여, 결측된 속성 조합이 존재하더라도 효율적인 학습이 가능하도록 한다.
• VAE 프레임워크를 사용해 엔드 투 엔드로 모델을 훈련하며, 레이블 임베딩을 다중선형 함수를 통해 통과시켜 잠재 공간을 조건화한다.
• 레이블이 누락된 경우를 대비해 Gumbel-Softmax 기법을 사용한 두 번째 인코더 헤드를 도입하여, 관측되지 않은 속성 클래스를 추론하고, 이로 인해 분리된 조합을 생성할 수 있도록 한다.
• 계층적인 텐서 분해 구조를 적용: 선형 항, 쌍별 상호작용, 고차원 상호작용(예: 삼중조합)은 고차원 텐서를 통해 모델링한다.
• 재표현 기법을 적용하여 확률적 잠재 변수를 통한 역전파를 가능하게 하여 엔드 투 엔드 훈련을 보장한다.

실험 결과

연구 질문

• RQ1 표준 cVAE를 훈련 중에 관측되지 않은 조합(예: 훈련 데이터에만 남성의 미소가 존재할 때 여성의 미소)을 생성할 수 있도록 확장할 수 있는가?
• RQ2 속성 간의 곱셈 상호작용을 모델링함으로써, 표준 cVAE에 비해 훈련 데이터에 없던 조합으로의 일반화 성능이 유의미하게 향상되는가?
• RQ3 다양한 속성이 동시에 존재할 경우 모델 성능은 어떻게 되며, 고도로 상관관계가 있는 레이블이 존재하더라도 결측된 조합을 복구할 수 있는가?
• RQ4 색상과 같은 레이블이 없는 속성(예: MNIST에서의 색상)을 처리할 수 있도록 프레임워크를 확장할 수 있는가?
• RQ5 결측된 속성 조합의 수가 증가함에 따라 모델은 어떻게 스케일링되는가?

주요 결과

• MNIST에서 30개 조합 중 6개가 누락된 경우, 훈련 데이터에 존재하지 않는 조합을 94.5%의 정확도로 분류함으로써 강력한 일반화 능력을 입증한다.
• 3속성의 Morpho-MNIST 벤치마크에서, 훈련 예제가 전혀 없는 3개의 훈련되지 않은 조합(예: 0-오렌지, 1-초록)을 성공적으로 합성한다.
• 30개 조합 중 20개가 누락된 경우에도 속성 분류 정확도가 15.8%를 유지하여 결측 데이터에 대한 강건성을 입증한다.
• CelebA 및 Fashion-MNIST에서 정성적·정량적 평가를 통해, 제안된 방법이 표준 cVAE보다 훨씬 더 현실적인 훈련 데이터에 없던 조합의 이미지를 생성함을 입증한다.
• 색상 레이블이 제공되지 않은 경우에도 모델이 속성을 효과적으로 분리하고, 그림 9에서 보여지듯 타당한 훈련 데이터에 없던 조합을 생성함을 입증한다.
• 텐서 분해 기반의 다중선형 상호작용 모델링은 덧셈 또는 독립적인 조건화를 초월해, 복잡한 레이블 의존성을 포착할 수 있도록 네트워크의 일반화 능력을 향상시킨다.