[論文レビュー] Task Specific Adversarial Cost Function

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|Sep 27, 2016

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 13

ひとこと要約

本論文は、生成対抗ネットワーク（GANs）のためのタスク特化型の敵対的コスト関数を提案する。この関数は、KL[P||Q]（検出タスク、例えばリtrievalや分類を好む）とKL[Q||P]（生成を好む）の間をハイパーパrameter π で制御する補間を行う。実験の結果、π のチューニングにより、生成（滑らかな補間を通じて）および分類タスク（例：ワンショット学習やリtrieval）の両方で性能が向上し、標準的な GAN 学習を上回ることが示された。

ABSTRACT

The cost function used to train a generative model should fit the purpose of the model. If the model is intended for tasks such as generating perceptually correct samples, it is beneficial to maximise the likelihood of a sample drawn from the model, Q, coming from the same distribution as the training data, P. This is equivalent to minimising the Kullback-Leibler (KL) distance, KL[Q||P]. However, if the model is intended for tasks such as retrieval or classification it is beneficial to maximise the likelihood that a sample drawn from the training data is captured by the model, equivalent to minimising KL[P||Q]. The cost function used in adversarial training optimises the Jensen-Shannon entropy which can be seen as an even interpolation between KL[Q||P] and KL[P||Q]. Here, we propose an alternative adversarial cost function which allows easy tuning of the model for either task. Our task specific cost function is evaluated on a dataset of hand-written characters in the following tasks: Generation, retrieval and one-shot learning.

研究の動機と目的

• 標準 GAN が Jensen-Shannon 散发型に最適化され、純粋な生成または分類タスクにおいては最適でないという制限を解消すること。
• 生成されたサンプルのリアルさ（KL[Q||P] の最小化）を重視するか、分類可能な表現の学習（KL[P||Q] の最小化）を重視するかをハイパーパrameter π を用いて制御可能なコスト関数を開発すること。
• Omniglot データセットを用いて、画像生成、リtrieval、ワンショット学習を含む多様なタスクにおいて、提案されたコスト関数の評価を行うこと。
• ハイパーパrameter π が、サンプルのリアルさと表現品質のトレードオフを体系的に制御できることを示すこと。

提案手法

• π でパラメータ化された修正された敵対的コスト関数を提案。これは、標準 GAN の損失とタスク特化型の変種の間を補間する。
• コスト関数は、π が小さい場合には KL[P||Q] の最小化に近づき、分類性能を重視する。π が大きい場合には KL[Q||P] の最小化に近づき、生成を重視する。
• 実サンプルと生成サンプルの重み付けを π に応じて変化させる修正されたディスクライマーター損失を用いることで、学習目的の動的チューニングを可能にする。
• 生成器とディスクライマーターの交互更新を実施し、特に極端な π 値においても安定化を図るために、更新頻度を調整する。
• Omniglot データセットを用いて、潜在空間における補間による画像生成、およびリtrieval とワンショット分類の評価を実施。
• 潜在空間における球面補間を用いて、異なる π 値における生成サンプルの質と連続性を視覚的に評価。

実験結果

リサーチクエスチョン

• RQ1 生成の最適化か分類表現学習の最適化を優先できるように、修正された敵対的コスト関数を設計できるか？
• RQ2 ハイパーパrameter π のチューニングにより、生成的タスクと分類的タスクの両方で性能を体系的に向上させられるか？
• RQ3 サンプルの質と表現の有用性の観点から、標準的な GAN 学習と比較して、提案されたコスト関数はどのように異なるか？
• RQ4 提案されたコスト関数を用いることで、ワンショット学習およびリtrieval タスクで最先端の性能を達成できるか？

主な発見

• π = 0.9 で学習された GAN は、ランダムな潜在コード間の滑らかな補間を実現し、より良いサンプルの連続性とリアルさを示しており、KL[Q||P] の最小化を支持する。
• π = 0.01 で学習された GAN は、リtrieval およびワンショット学習タスクで標準 GAN を上回り、KL[P||Q] の最小化に一致する、より優れた分類表現学習を示した。
• 提案手法は、Omniglot データセットで、アルファベット単位のワンショット分類スコアを初めて達成し、過去の研究がランダムに選択された 5 クラスでの評価にとどまっていたのを上回った。
• π = 0.1 の場合、リアルさと多様性のバランスが取れ、標準 GAN よりもより多様なサンプルを生成しながらも、π = 0.01 よりも高いリアルさを維持した。
• 補間の視覚的検査では、π = 0.9 を用いた場合、潜在空間に非現実的なギャップが少なく、データ多様体のより良いモデリングを確認した。
• π を選択することで、モデル挙動を微細に制御でき、実務家が下流タスクに応じて GAN をカスタマイズできる。