[論文レビュー] How (not) to Train your Generative Model: Scheduled Sampling, Likelihood, Adversary?

Ferenc Huszár|arXiv (Cornell University)|Nov 16, 2015

Topic Modeling参考文献 21被引用数 204

ひとこと要約

この論文は、生成モデルの学習法としてのスケジューリングサンプリングを、一貫性のない学習手法として批判し、最大尤度学習が一般化しすぎることでサンプル品質が低下することを主張する。また、最大尤度と、より望ましい知覚的品質を持つ理想化された目的関数の間を滑らかに補間するより原理的である一般化されたジェンセン・シャノン発散を提案し、敵対的学習がなぜ高品質なサンプルを生成するのかを説明する。

ABSTRACT

Modern applications and progress in deep learning research have created renewed interest for generative models of text and of images. However, even today it is unclear what objective functions one should use to train and evaluate these models. In this paper we present two contributions. Firstly, we present a critique of scheduled sampling, a state-of-the-art training method that contributed to the winning entry to the MSCOCO image captioning benchmark in 2015. Here we show that despite this impressive empirical performance, the objective function underlying scheduled sampling is improper and leads to an inconsistent learning algorithm. Secondly, we revisit the problems that scheduled sampling was meant to address, and present an alternative interpretation. We argue that maximum likelihood is an inappropriate training objective when the end-goal is to generate natural-looking samples. We go on to derive an ideal objective function to use in this situation instead. We introduce a generalisation of adversarial training, and show how such method can interpolate between maximum likelihood training and our ideal training objective. To our knowledge this is the first theoretical analysis that explains why adversarial training tends to produce samples with higher perceived quality.

研究の動機と目的

• 自己回帰的系列モデルの学習目的関数としてのスケジューリングサンプリングの根本的欠陥を特定すること。
• 自然で現実的な外観のサンプルを生成することを目的とした場合、最大尤度を主たる学習目的関数として使用することは妥当でないことを挑戦すること。
• 生成されたサンプルの知覚的品質とよりよく整合する理論的裏付けのある代替目的関数を提案すること。
• 敵対的学習がなぜ高品質なサンプルを生成するのかを、KL[P||Q] と KL[Q||P] の間を補間する一般化された発散としての最小化として説明すること。

提案手法

• スケジューリングサンプリングの目的関数をカルバック・ライブラー発散の観点から再表現し、それが不適切で一貫性のない学習手順であることを明らかにする。
• 知覚的品質の観点から理想化された目的関数として、逆カルバック・ライブラー発散 KL[Q||P] の最小化を提案するが、実際には計算不能である。
• ハイパーパramータ π を用いて、KL[P||Q]（最大尤度）と KL[Q||P]（知覚的品質）の間を滑らかに補間する一般化されたジェンセン・シャノン発散（JS_π）を導入する。
• 識別器の訓練データにおけるクラスバランス（π）を調整することで、JS_π を敵対的学習を用いて近似可能であることを示す。
• 標準的な GAN は π = 0.5 の JS_π に相当し、他の π 値を用いることで学習行動のスケールが得られることを示す。
• 敵対的学習がなぜサンプル品質を向上させるのかを理論的に正当化する：それは、知覚的に望ましい目的関数を近似する発散を最小化しているからである。

実験結果

リサーチクエスチョン

• RQ1 なぜ最大尤度学習は自己回帰的系列モデルにおいて現実的でない、あるいは説得力のないサンプルを生成するのか？
• RQ2 スケジューリングサンプリングは一貫性のある学習法であるのか？最大尤度学習の問題を真に解決しているのか？
• RQ3 最大尤度よりも、自然に見えるサンプルを生成することを目的とした場合、より適切な目的関数とは何か？
• RQ4 なぜ敵対的学習が高品質なサンプルを生成するのかを理論的に正当化できるか？
• RQ5 最大尤度と知覚的動機付けられた目的関数の間を補間する統一的フレームワークを構築できるか？

主な発見

• スケジューリングサンプリングは、その背後にある目的関数が不適切であるため、一貫性のない学習法であることが示された。MSCOCO などのベンチマークで実証的に成功を収めても、その本質は不整合である。
• 最大尤度学習は KL[P||Q] を最小化するが、これによりモード崩壊や一般化が進み、統計的には妥当なが、知覚的には現実的でないサンプルが生成される。
• KL[Q||P] の最小化は理論的には知覚的品質にとって理想であるが、実用上は計算不能であり、直接利用できない。
• 一般化されたジェンセン・シャノン発散 JS_π は、KL[P||Q]（π → 0）と KL[Q||P]（π → 1）の間を滑らかに補間する計算可能な目的関数を提供し、学習行動のスケールを可能にする。
• バランスの取れた識別器（π = 0.5）を用いた敵対的学習は、標準的な JS 発散を近似するが、π を調整することで、知覚的品質の目的関数に近づけることができる。
• 理論的分析により、敵対的学習がなぜ高品質なサンプルを生成するのかが説明された：それは、統計的一致だけでなく、モードカバレッジと知覚的現実性を重視する発散を近似しているからである。