[논문 리뷰] InfoGAN-CR: Disentangling Generative Adversarial Networks with Contrastive Regularizers

Zinan Lin, Kiran Koshy Thekumparampil외 2명|arXiv (Cornell University)|2019. 06. 14.

Generative Adversarial Networks and Image Synthesis인용 수 17

한 줄 요약

이 논문은 잠재 공간 탐색의 영감을 받은 대비 정규화를 사용하여, 지도 학습이 불필요한 자기지도 학습 방법인 InfoGAN-CR을 소개한다. 이는 지도 학습이 없는 상황에서도 최신 기준을 충족하는 분리 표현을 학습하는 데 성공한다. 또한, 실제 데이터가 없이도 고성능 모델을 식별할 수 있는 비지도 모델 선택 기법인 ModelCentrality를 제안한다. 이 기법은 합성 샘플의 중심점(medoid)을 활용하여 초모수 조정을 효과적으로 수행할 수 있도록 한다.

ABSTRACT

Disentangled generative models map a latent code vector to a target space, while enforcing that a subset of the learned latent codes are interpretable and associated with distinct properties of the target distribution. Recent advances have been dominated by Variational AutoEncoder (VAE)-based methods, while training disentangled generative adversarial networks (GANs) remains challenging. In this work, we show that the dominant challenges facing disentangled GANs can be mitigated through the use of self-supervision. We make two main contributions: first, we design a novel approach for training disentangled GANs with self-supervision. We propose contrastive regularizer, which is inspired by a natural notion of disentanglement: latent traversal. This achieves higher disentanglement scores than state-of-the-art VAE- and GAN-based approaches. Second, we propose an unsupervised model selection scheme called ModelCentrality, which uses generated synthetic samples to compute the medoid (multi-dimensional generalization of median) of a collection of models. The current common practice of hyper-parameter tuning requires using ground-truths samples, each labelled with known perfect disentangled latent codes. As real datasets are not equipped with such labels, we propose an unsupervised model selection scheme and show that it finds a model close to the best one, for both VAEs and GANs. Combining contrastive regularization with ModelCentrality, we improve upon the state-of-the-art disentanglement scores significantly, without accessing the supervised data.

연구 동기 및 목표

• VAE 기반 방법의 발전에도 불구하고 여전히 어려움을 겪는 분리 표현을 가진 생성 적대적 네트워크(GAN)를 훈련시키는 문제를 해결하기 위해.
• 잠재 공간 탐색의 자연스러운 개념을 활용하여, 지도 학습이 없는 조건에서 분리 표현을 강화하는 자기지도 학습 기반의 대비 정규화를 개발하기 위해.
• 지상 진술 레이블이 없는 환경에서 초모수 조정을 가능하게 하기 위해, 비지도 모델 선택 기법인 ModelCentrality를 도입하여 지도 학습 의존도를 제거하기 위해.
• 지도 학습 애너테이션에 접근할 수 없는 상황에서도 벤치마크 데이터셋에서 뛰어난 분리 표현 성능을 달성하기 위해.

제안 방법

• 잠재 코드의 미세한 변형을 대비함으로써 분리 표현을 유도하는 대비 정규화를 제안하며, 이는 잠재 공간 탐색 원리에 기반한다.
• 동일한 잠재 코드의 작은 변형(양성 샘플)은 가까이, 다른 또는 관련 없는 코드(음성 샘플)는 멀리 떨어지도록 하는 대비 손실 함수를 사용한다.
• 생성자 모델이 높은 품질의 분리 표현 샘플을 생성할 수 있도록, GAN 프레임워크 내부에 대비 정규화를 적용한다.
• 여러 모델에서 생성된 합성 샘플 집합의 메도이드(다차원 중앙값)를 계산하는 비지도 모델 선택 기법인 ModelCentrality를 도입한다.
• 합성 샘플의 메도이드를 활용해 최적의 분리 표현에 가까운 모델을 식별함으로써, 지상 진술 레이블이 없이도 초모수 선택을 가능하게 한다.
• 대비 정규화와 ModelCentrality를 결합하여, 지도 학습 없이도 분리 표현 GAN의 훈련과 선택을 종합적으로 수행한다.

실험 결과

연구 질문

• RQ1 잠재 공간 탐색에 기반한 대비 정규화는 지도 학습이 없는 조건에서 GAN의 분리 표현 성능 향상에 기여할 수 있는가?
• RQ2 제안된 ModelCentrality 기법은 지도 학습 기반 기준 대비 고성능 분리 표현 모델을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 대비 정규화와 비지도 모델 선택의 조합이 최신 기준의 VAE 및 GAN 기반 분리 표현 방법을 초월할 수 있는가?
• RQ4 지도 학습 데이터가 없는 상황에서 자기지도 학습이 분리 표현 GAN 훈련의 과제를 얼마나 효과적으로 완화할 수 있는가?

주요 결과

• InfoGAN-CR는 벤치마크 데이터셋에서 최신 기준의 분리 표현 점수를 확보하며, 기존의 최신 기준 VAE 기반 및 GAN 기반 방법을 모두 능가한다.
• 대비 정규화는 잠재 공간 탐색을 통해 의미 있고 해석 가능한 분리 표현을 유도함으로써 분리 표현 성능를 크게 향상시킨다.
• ModelCentrality는 지상 진술 레이블이 없는 상황에서도 최적의 분리 표현 설정에 가까운 모델을 성공적으로 식별한다.
• 대비 정규화와 ModelCentrality의 조합은 완전히 비지도 환경에서 효과적인 초모수 조정을 가능하게 한다.
• 이 방법은 어떤 지도 학습 데이터에도 의존하지 않으면서도 뛰어난 분리 표현 성능를 달성함으로써, 표현 학습에서 자기지도 학습의 강력함을 입증한다.