[論文レビュー] A Brief Introduction to Generative Models

Alex Lamb|arXiv (Cornell University)|Feb 27, 2021

Reinforcement Learning in Robotics参考文献 22被引用数 11

ひとこと要約

この論文は、機械学習における生成モデルの基盤的概要を提供し、真のデータ分布 $p(x)$ をパrameterized分布 $q_\theta(x)$ で推定することで、現実的なデータを合成する能力を学ぶ確率的モデルとしての生成モデルを提示する。本稿は、少サンプル学習を可能にする役割、対向的生成によるモデルの解釈性向上、およびKLダイバージェンスや敵対的目的といった統計的ダイバージェンスを用いた訓練の形式化に焦点を当て、変分推論と生成的敵対的ネットワークの統合が主な貢献である。

ABSTRACT

We introduce and motivate generative modeling as a central task for machine learning and provide a critical view of the algorithms which have been proposed for solving this task. We overview how generative modeling can be defined mathematically as trying to make an estimating distribution the same as an unknown ground truth distribution. This can then be quantified in terms of the value of a statistical divergence between the two distributions. We outline the maximum likelihood approach and how it can be interpreted as minimizing KL-divergence. We explore a number of approaches in the maximum likelihood family, while discussing their limitations. Finally, we explore the alternative adversarial approach which involves studying the differences between an estimating distribution and a real data distribution. We discuss how this approach can give rise to new divergences and methods that are necessary to make adversarial learning successful. We also discuss new evaluation metrics which are required by the adversarial approach.

研究の動機と目的

• 生成モデルの背後にある認知的および実用的動機を説明すること、特に人間の学習における「刺激の貧困問題」を含む。
• KLダイバージェンスなどの統計的ダイバージェンスを用いて、生成的モデリングを確率的密度推定問題として形式化すること。
• 生成的モデルが対向的生成を可能にすることで、識別的モデルの評価を向上させることの仕組みを示すこと。
• 変分オートエンコーダ（VAEs）、生成的敵対的ネットワーク（GANs）、ノーマライジングフローなどのコア技術を紹介すること。
• ラベル付きデータが限られた状況下でも、有効な教師あり学習および強化学習を可能にするために、教師なし事前学習の役割を強調すること。

提案手法

• 真のデータ分布 $p(x)$ とモデルが推定する分布 $q_\theta(x)$ の間の統計的ダイバージェンス $D(p||q_\theta)$ の最小化として生成的モデリングを形式化する。
• VAEにおける不確実な事後分布の近似に変分推論を用い、エビデンス下限界（ELBO）を最適化する。
• 生成器 $G(z)$ と識別器 $D(x)$ がミニマックスゲームをプレーする敵対的訓練をGANを用いて実装し、現実的なサンプルを生成する。
• ノーマライジングフローを用いて、正確な尤度計算が可能な可逆的かつ柔軟な変換を構築し、密度推定に活用する。
• 推論モデル（例：敵対的学習による推論（ALI））と深層生成モデルを統合することで、サンプル品質と訓練安定性を向上させる。
• 正確な尤度が計算できない場合に、未正規化モデルを訓練するためのノイズ対比推定（NCE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 生成的モデルは、ラベルなしデータの大量を活用することで、どのように効果的な少サンプル学習を可能にするか？
• RQ2 生成的モデルが対向的入力を生成することで、識別的モデルの評価をどの程度改善できるか？
• RQ3 尤度ベース、敵対的、エネルギーベースのアプローチといった、生成的モデリングの異なる形式化の間には、どのような主なトレードオフがあるか？
• RQ4 VAE や GAN といったアーキテクチャは、帰納的バイアスや一般化行動において、どのように異なるか？
• RQ5 生成的モデルによる教師なし事前学習は、過学習を軽減し、下流の教師ありタスクにおける性能を向上させることができるか？

主な発見

• 生成的モデルは、ラベルなしデータから豊かな世界表現を学習でき、効果的な少サンプル学習を可能にし、ラベル付き例への依存を低減する。
• 対向的テキストプロンプトの使用により、画像キャプションモデルの評価が厳密に行えるようになり、統計的相関を超えた一般化能力のテストが可能になる。
• GANによる敵対的訓練は、高品質なサンプル生成を達成するが、スペクトル正規化や勾配ペナルティなどの技術がなければ、訓練の不安定性が依然として課題となる。
• 変分オートエンコーダは、後退推論の微分可能で扱いやすい近似を提供し、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• ノーマライジングフローは正確な尤度計算を可能にし、特に低次元の潜在空間において密度推定に有効である。
• ノイズ対比推定は、実データとノイズを区別することで未正規化モデルの訓練を可能にし、尤度ベースの訓練の柔軟な代替手段を提供する。