[논문 리뷰] On the Implicit Assumptions of GANs

Ke Li, Jitendra Malik|arXiv (Cornell University)|2018. 11. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 14

한 줄 요약

이 논문은 GANs에서 이론적 보장을 약화시키고 모드 드롭과 편향된 평가를 유도하는 핵심 암묵적 가정—특히 학습 중 진짜 데이터 분포에 접근할 수 있다는 것—을 규명한다. 이를 바탕으로 이론적 최대우도 추정을 직접 최적화함으로써 명시적 우도 계산이 필요 없고 전체 복원도를 보장하는 우도 없는 방법인 암묵적 최대우도 추정(IMLE)을 제안한다.

ABSTRACT

Generative adversarial nets (GANs) have generated a lot of excitement. Despite their popularity, they exhibit a number of well-documented issues in practice, which apparently contradict theoretical guarantees. A number of enlightening papers have pointed out that these issues arise from unjustified assumptions that are commonly made, but the message seems to have been lost amid the optimism of recent years. We believe the identified problems deserve more attention, and highlight the implications on both the properties of GANs and the trajectory of research on probabilistic models. We recently proposed an alternative method that sidesteps these problems.

연구 동기 및 목표

• 학습 중 진짜 데이터 분포에 접근할 수 있다는 GAN 이론의 암묵적 가정을 드러내며, 이는 실무에서는 거의 실현되지 않는다는 점을 밝히는 것.
• 이 가정이 JS나 반전 KL 발산과 같은 f-발산 최소화에 대한 잘못된 이론적 주장으로 이어지는 이유를 설명하는 것.
• 복원도가 보장되지 않을 경우 현재 평가 지표인 정밀도가 부족함을 입증하여, 샘플 품질과 분포 충실도 사이의 괴리가 발생하는 이유를 밝히는 것.
• 생성 모델링 연구가 진짜 데이터 분포를 학습하는 것에서 높은 품질의 샘플을 생성하는 데로 초점을 옮기며 다양성의 손실을 초래하는 이유를 주장하는 것.
• 우도가 계산되지 않는 암묵적 모델에 대해 명시적 우도 계산 없이 전체 복원도를 보장하고 최대우도 추정을 복원하는 우도 없는 대안으로 암묵적 최대우도 추정(IMLE)을 제안하는 것.

제안 방법

• 논문은 최대우도 추정을 근사하기 위해 생성 샘플과 훈련 데이터 포인트 사이의 기대 거리를 최소화하는 우도 없는 매개변수 추정 기법인 암묵적 최대우도 추정(IMLE)을 도입한다.
• IMLE는 각 생성 샘플에 대해 가장 가까운 훈련 예제를 최근접 이웃 검색을 통해 찾고, 생성 샘플과 훈련 세트 내 해당 최근접 이웃 사이의 L2 거리를 최소화한다.
• 우도 목적함수의 미분 가능 근사치를 최근접 이웃 회귀를 통해 활용함으로써 명시적 우도 계산을 피하는 방법이다.
• IMLE는 우도가 계산되지 않는 암묵적 모델과 호환되며, 어떤 훈련 예제도 빼앗기지 않도록 하기 위해 모든 훈련 예제에서 멀리 떨어진 샘플을 벌점 처리함으로써 모드 드롭을 방지한다.
• 생성 모델이 표본을 진짜 데이터 분포의 지지역 밖으로 생성하는 것을 막기 위해, 생성 모델이 표본을 진짜 데이터 분포의 지지역 내에 포함시키도록 유도함으로써 전체 복원도를 보장한다.
• 경사 하강법을 통해 학습 목표를 최적화하며, 최근접 이웃 매핑을 통해 기울기를 계산함으로써 생성자에 대한 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 JS나 반전 KL 발산 최소화에 대한 잘못된 주장으로 이어지는 GAN 이론의 암묵적 가정은 무엇이며, 그 가정은 어떤 방식으로 이론적 보장을 약화시키는가?
• RQ2 학습 중에 진짜 데이터 분포를 경험적 데이터 분포로 대체할 경우, 왜 GAN의 이론적 보장이 무효화되는가?
• RQ3 왜 진짜 데이터 분포에 접근 가능하다는 가정과 적대적 목표의 조합이 GAN에서 모드 드롭을 유도하는가?
• RQ4 왜 복원도가 측정되지 않을 경우 정밀도 기반 평가가 부적절한가? 그리고 이것이 생성 모델링에서 모델 비교에 어떤 영향을 미치는가?
• RQ5 명시적 우도 계산 없이 전체 복원도를 보장하고 암묵적 모델에서 최대우도 추정을 달성할 수 있는 우도 없는 방법을 설계할 수 있는가?

주요 결과

• 경험적 데이터 분포와 임의의 연속 모델 분포 사이의 쥰센-섀넌 발산은 항상 log 2이며, 이는 실제로 JS 발산을 0으로 최소화할 수 없음을 의미한다. 따라서 GAN이 실제로 JS 발산을 최소화한다는 주장은 잘못된 것이다.
• 연속 모델에 대해 모델에서 경험적 데이터 분포로의 반전 KL 발산은 정의되지 않는다. 왜냐하면 모델의 지지역이 경험적 데이터 분포의 이산 지지역에 포함되지 않기 때문이다.
• 복원도가 측정되지 않을 경우 정밀도 기반 평가만으로는 잘못된 결론을 이끌 수 있다. 정밀도 향상은 데이터 분포를 더 잘 모델링한 결과일 수도 있지만, 대부분은 복원도 감소에서 기인한다.
• 신뢰할 수 있는 복원도 측정 방법이 부족하여 연구 초점이 진짜 데이터 분포 학습에서 고품질이지만 모드 드롭이 발생할 수 있는 샘플 생성으로 옮겨졌다.
• 암묵적 최대우도 추정(IMLE)은 전체 복원도를 성공적으로 보장하고, 암묵적 모델에 대해 최대우도 추정을 근사하는 우도 없는 대안을 제공한다.
• IMLE는 생성 샘플이 어떤 훈련 예제도 떠나지 않도록 벌점을 부과함으로써, 모드 드롭을 방지하고 분포 충실도를 향상시킨다.