[論文レビュー] Parametric Adversarial Divergences are Good Task Losses for Generative Modeling

Gabriel Huang, Hugo Berard+4 more|arXiv (Cornell University)|Aug 8, 2017

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 10

ひとこと要約

本稿では、生成モデルにおけるタスク固有の損失関数として、パラメトリックな敵対的発散を導入し、統計的決定理論の枠組み内でディスクライマーのアーキテクチャ設計と構造的損失選択を統一する。実験により、高解像度の数字生成や代数的データ制約の学習において、パラメトリックな発散が非パラメトリックな手法を上回ることを示している。

ABSTRACT

Generative modeling of high dimensional data like images is a notoriously difficult and ill-defined problem. In particular, how to evaluate a learned generative model is unclear. In this position paper, we argue that adversarial learning, pioneered with generative adversarial networks (GANs), provides an interesting framework to implicitly define more meaningful task losses for generative modeling tasks, such as for generating visually realistic images. We refer to those task losses as parametric adversarial divergences and we give two main reasons why we think parametric divergences are good learning objectives for generative modeling. Additionally, we unify the processes of choosing a good structured loss (in structured prediction) and choosing a discriminator architecture (in generative modeling) using statistical decision theory; we are then able to formalize and quantify the intuition that weaker losses are easier to learn from, in a specific setting. Finally, we propose two new challenging tasks to evaluate parametric and nonparametric divergences: a qualitative task of generating very high-resolution digits, and a quantitative task of learning data that satisfies high-level algebraic constraints. We use two common divergences to train a generator and show that the parametric divergence outperforms the nonparametric divergence on both the qualitative and the quantitative task.

研究の動機と目的

• 生成モデルの評価が曖昧である問題、特に画像のような高次元データに対して解決する。
• 敵対的学習を用いてタスク固有の損失を形式化するフレームワークを提案する。
• 統計的決定理論を用いて、構造的予測における構造的損失選択とGANにおけるディスクライマーのアーキテクチャ設計を統一する。
• 生成モデルのための新規で挑戦的なベンチマークにおいて、パラメトリックおよび非パラメトリックな発散を評価する。
• 実験的に、パラメトリックな発散が定性的および定量的タスクの両方で優れた性能を示すことを確認する。

提案手法

• 敵対的学習から導かれる暗黙的でタスク指向の損失として、パラメトリックな敵対的発散を提案し、従来のGANの目的関数を置き換える。
• 統計的決定理論を用いて、損失設計とディスクライマーのアーキテクチャとの関係を形式化し、定義された設定において弱い損失の方が学習しやすいことを示す。
• 高解像度の数字生成（定性的）と高レベルの代数的制約を満たすデータの学習（定量的）という2つの新しい評価タスクを設計する。
• 訓練における生成器に、一般的な2つの発散（パラメトリックおよび非パラメトリック）を用い、両タスクにおける性能を比較する。
• パラメトリックな発散に基づいて訓練された生成器は、タスク固有の目的を反映する発散を暗黙的に最小化する。
• 視覚的忠実度（定性的）と制約満たし度（定量的）の両方の指標を用いて性能を定量化する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな敵対的発散は、非パラメトリックな発散よりも生成モデルにおいてより意味的で効果的なタスク固有損失として機能できるか？
• RQ2 統計的決定理論は、生成モデルにおける構造的損失設計とディスクライマーのアーキテクチャ設計をどのように統一するか？
• RQ3 パラメトリックな発散は、挑戦的で新規の評価ベンチマークにおいて非パラメトリックな発散を上回ることができるか？
• RQ4 弱い損失の方が学習しやすいという直感は、統計的決定理論の文脈で形式的に定量化可能で、生成モデルに適用可能か？
• RQ5 パラメトリックな発散は、高解像度画像生成および制約に基づくデータ学習において性能を向上させるか？

主な発見

• パラメトリックな敵対的発散は、非常に高解像度の数字生成という定性的タスクにおいて、非パラメトリックな発散を上回る。
• パラメトリックな発散は、高レベルの代数的制約を満たすデータの学習という定量的タスクにおいて、より良い制約満たし度を達成する。
• 提案されたフレームワークは、特定の統計的決定理論的設定において、弱い損失の方が学習しやすいという直感を形式化し、定量化する。
• 統計的決定理論を用いた構造的損失選択とディスクライマーのアーキテクチャ設計の統一は、生成モデルにおける目的関数設計の原理的アプローチを提供する。
• 実験結果により、パラメトリックな発散が多様で挑戦的な評価タスクにおいて優れた生成性能を示すことが確認された。