[논문 리뷰] Theoretical limitations of Encoder-Decoder GAN architectures

Sanjeev Arora, Andrej Risteski외 1명|arXiv (Cornell University)|2017. 11. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 4인용 수 15

한 줄 요약

이 논문은 모드 붕괴를 완화하고 의미 있는 특징을 학습하기 위해 설계된 인코더-디코더 GAN 아키텍처가, 생성자가 낮은 지지도를 가진 분포(심각한 모드 붕괴)를 생성하고 인코더가 사실상 흰 잡음으로 이미지를 매핑하는 경우에도 거의 최적의 훈련 목표를 달성할 수 있음을 보여준다. 이론적 분석은 훈련 목표만으로는 이러한 병적인 해법을 방지할 수 없음을 시사하며, 실용적 성공은 목표 함수에 반영되지 않은 인덕티브 바이어스나 최적화 역학에 기반해야 한다고 한다.

ABSTRACT

Encoder-decoder GANs architectures (e.g., BiGAN and ALI) seek to add an inference mechanism to the GANs setup, consisting of a small encoder deep net that maps data-points to their succinct encodings. The intuition is that being forced to train an encoder alongside the usual generator forces the system to learn meaningful mappings from the code to the data-point and vice-versa, which should improve the learning of the target distribution and ameliorate mode-collapse. It should also yield meaningful codes that are useful as features for downstream tasks. The current paper shows rigorously that even on real-life distributions of images, the encode-decoder GAN training objectives (a) cannot prevent mode collapse; i.e. the objective can be near-optimal even when the generated distribution has low and finite support (b) cannot prevent learning meaningless codes for data -- essentially white noise. Thus if encoder-decoder GANs do indeed work then it must be due to reasons as yet not understood, since the training objective can be low even for meaningless solutions.

연구 동기 및 목표

• BiGAN 및 ALI와 같은 인코더-디코더 GAN이 이론적으로 모드 붕괴를 방지하고 의미 있는 잠재 표현을 학습할 수 있는지 조사하기.
• 이 아키텍처의 훈련 목표가 실제로 분포의 충실도와 의미적으로 유의미한 특징을 강제로 보장하는지 판단하기.
• 통합 생성자-인코더 목표가 유한 지지도를 가진 생성자와 무작위 인코딩을 유도하는 열악한 해법에 대해 이론적 보장을 제공하는지 분석하기.
• 표준 GAN에 대한 이전 이론적 결과를 더 복잡한 인코더-디코더 설정으로 확장하여, 이러한 아키텍처가 동일한 제약 조건을 피하는지 밝혀내기.

제안 방법

• 생성자가 이미지에 대해 유한 지지도 분포를 생성하도록 훈련시키고, 인코더가 실재 이미지를 비밀번호가 없는, 상호 간섭이 없는 잠재 코드 집합을 통해 무작위 잡음으로 매핑하도록 이론적 프레임워크를 구축하기.
• 짝지어진 (이미지, 잠재 코드) 입력에 작용하는 디스커티미네이터를 정의하고, McDiarmid의 부등식을 통한 농도 주장으로, 구성된 분포 하에서 기대 디스커티미네이터 점수가 최적에 가까운 유지됨을 보여주기.
• 디스커티미네이터의 에psilon 넷과 유니언 바운드를 사용하여, 크기가 제한된 모든 가능한 디스커티미네이터에 대해 결과가 균일하게 유지됨을 보장하기.
• 실제 데이터 분포 하에서 디스커티미네이터 출력의 기대값이 생성자 출력 분포 하에서와 동일함을 보여주기, 즉 생성자가 낮은 지지도를 가질 때조차도.
• 잠재 코드의 비교접합 집합이 블록 내에서 균일 분포에서 독립적으로 샘플링될 수 있음을 활용하여 측도 집중 주장 수행하기.
• 생성자의 출력이 O(p log p / ε²)개의 이미지에만 지지되는 경우에도 훈련 목표가 거의 최적이 되도록 보여주기, 여기서 p는 디스커티미네이터 크기이다.

실험 결과

연구 질문

• RQ1 실제 이미지 분포를 고려할 때, 인코더-디코더 GAN은 그들의 통합 훈련 목표에도 불구하고 모드 붕괴를 방지할 수 있는가?
• RQ2 인코더-디코더 GAN의 훈련 목표가 의미 있는, 무작위가 아닌 잠재 표현을 강제로 보장하는가?
• RQ3 표준 GAN의 이론적 보장이 인코더-디코더 아키텍처로 확장되는가, 아니면 동일한 근본적 제약을 떠받치는가?
• RQ4 생성자가 유한하고 작은 지지를 가지며 인코더가 사실상 흰 잡음을 출력하는 경우에도 거의 최적의 훈련 목표를 달성할 수 있는가?
• RQ5 목표 함수가 열악한 해법을 배제하지 못하는 상황에서, 인코더-디코더 GAN이 실무에서 어떻게 작동할 수 있는가에 대한 이론적 메커니즘은 무엇인가?

주요 결과

• 생성자의 출력 분포가 O(p log p / ε²)의 크기로 유한 지지를 가지는 경우조차도 인코더-디코더 GAN의 훈련 목표가 거의 최적이 되며, 이는 심각한 모드 붕괴가 가능함을 시사한다.
• 실재 이미지를 흰 잡음으로 매핑하는 인코더를 구성할 수 있으며, 이는 훈련 목표 하에서 거의 최적의 해법임을 보여주며, 의미 있는 특징 학습이 강제되지 않음을 입증한다.
• 실제 데이터 분포 하에서 디스커티미네이터의 기대 점수가 생성자 분포 하에서와 동일함을 보여주며, 생성자가 유일한 이미지 수가 적은 경우에도 성립한다.
• McDiarmid의 부등식과 비교접합 집합 구성법을 활용한 측도 집중 주장으로, 무작위 생성자 및 잠재 코드 샘플에 대해 목표가 안정됨을 보장한다.
• 에psilon 넷과 유니언 바운드를 통해 크기가 제한된 모든 디스커티미네이터에 대해 결과가 균일하게 유지됨을 보장하며, Arora 등(2017)의 접근을 인코더-디코더 설정으로 확장한다.
• 이론적 분석은 훈련 목표만으로는 열악한 해법을 방지할 수 없음을 시사하며, 실용적 성공은 목표 함수에 반영되지 않은 인덕티브 바이어스나 최적화 역학에 기반해야 한다고 한다.