[논문 리뷰] How (not) to Train your Generative Model: Scheduled Sampling, Likelihood, Adversary?

Ferenc Huszár|arXiv (Cornell University)|2015. 11. 16.

Topic Modeling참고 문헌 21인용 수 204

한 줄 요약

이 논문은 생성 모델을 위한 스케줄링 샘플링이 일관되지 않은 훈련 방법임을 비판하며, 최대우도 훈련이 일반화 과도로 인해 낮은 품질의 샘플을 생성한다는 점을 주장한다. 또한 최대우도와 시각적으로 우수한 이상화된 목표 간을 보간하는 더 엄밀한 목적 함수로 일반화된 젠센-쇼넌 발산을 제안하며, 적대적 훈련이 더 높은 품질의 샘플을 생성하는 이유를 설명한다.

ABSTRACT

Modern applications and progress in deep learning research have created renewed interest for generative models of text and of images. However, even today it is unclear what objective functions one should use to train and evaluate these models. In this paper we present two contributions. Firstly, we present a critique of scheduled sampling, a state-of-the-art training method that contributed to the winning entry to the MSCOCO image captioning benchmark in 2015. Here we show that despite this impressive empirical performance, the objective function underlying scheduled sampling is improper and leads to an inconsistent learning algorithm. Secondly, we revisit the problems that scheduled sampling was meant to address, and present an alternative interpretation. We argue that maximum likelihood is an inappropriate training objective when the end-goal is to generate natural-looking samples. We go on to derive an ideal objective function to use in this situation instead. We introduce a generalisation of adversarial training, and show how such method can interpolate between maximum likelihood training and our ideal training objective. To our knowledge this is the first theoretical analysis that explains why adversarial training tends to produce samples with higher perceived quality.

연구 동기 및 목표

• 자기회귀 시퀀스 모델에 대한 스케줄링 샘플링의 근본적인 결함을 규명하는 것.
• 실제로 자연스러운 샘플을 생성하고자 할 때 최대우도를 주요 훈련 목표로 사용하는 것의 문제를 도전하는 것.
• 시각적 품질과 더 잘 일치하는 이론적으로 타당한 대체 목적 함수를 제안하는 것.
• 적대적 훈련이 왜 더 높은 품질의 샘플을 생성하는지, KL[P||Q]와 KL[Q||P] 사이를 보간하는 일반화된 발산으로 프레임워크화함으로써 설명하는 것.

제안 방법

• 스케줄링 샘플링의 목표를 쿨백-라이블러 발산의 관점에서 재구성함으로써, 이가 부적절하고 일관되지 않은 훈련 절차임을 드러냄.
• 시각적 품질을 위해 이상적인 목표로 간주되는 반대 쿨백-라이블러 발산 KL[Q||P]를 최소화하는 것이지만, 실질적으로는 계산이 불가능함.
• 하나의 초매개변수 π를 통해 KL[P||Q] (최대우도)와 KL[Q||P] (시각적 품질) 사이를 보간하는 일반화된 젠센-쇼넌 발산(JS_π)을 도입함.
• 판별기의 훈련 데이터에서 클래스 균형(π)을 조정함으로써 JS_π를 적대적 훈련을 통해 근사할 수 있음을 보여줌.
• 표준 GAN은 π = 0.5일 때 JS_π에 해당하며, 다른 π 값들은 다양한 훈련 행동 스펙트럼을 가능하게 함.
• 적대적 훈련이 시각적으로 이상적인 목표를 근사함으로써 샘플 품질 향상의 이론적 근거를 제시함.

실험 결과

연구 질문

• RQ1 왜 최대우도 훈련은 자기회귀 시퀀스 모델에서 현실적이거나 타당하지 않은 샘플을 생성하는가?
• RQ2 스케줄링 샘플링은 일관된 훈련 방법이며, 최대우도 훈련의 문제를 진정으로 해결하는가?
• RQ3 최대우도보다 자연스러운 샘플을 생성하는 데 더 잘 부합하는 목적 함수는 무엇인가?
• RQ4 왜 적대적 훈련이 더 높은 품질의 샘플을 생성하는지 이론적으로 설명할 수 있는가?
• RQ5 최대우도와 시각적 동기를 가진 목표 간을 보간할 수 있는 통합 프레임워크를 개발할 수 있는가?

주요 결과

• MSCOCO와 같은 벤치마크에서의 경험적 성공에도 불구하고, 스케줄링 샘플링은 그 기초가 되는 목적 함수가 부적절하여 일관되지 않은 훈련 방법임이 입증됨.
• 최대우도 훈련은 KL[P||Q]를 최소화하므로 모드 붕괴와 과도한 일반화를 초래하며, 통계적으로 타당한 샘플은 생성하지만 시각적으로 비현실적인 결과를 낳음.
• KL[Q||P]를 최소화하는 것은 이론적으로 시각적 품질을 위해 이상적이지만, 실용적으로 계산이 불가능하여 직접 적용할 수 없음.
• JS_π는 π → 0일 때 최대우도, π → 1일 때 KL[Q||P]로 수렴하는 유연한 목적 함수로서, 다양한 훈련 행동 스펙트럼을 가능하게 함.
• 균형 잡힌 판별기(π = 0.5)를 사용한 적대적 훈련은 표준 JS 발산을 근사하며, π 조정을 통해 방법이 시각적 품질 목표로 이동 가능함.
• 이론적 분석을 통해 적대적 훈련이 더 높은 품질의 샘플을 생성하는 이유를 설명함: 이는 통계적 일치뿐만 아니라 모드 커버리지와 시각적 현실감을 우선시하는 발산을 근사하기 때문임.