[論文レビュー] A Connection between Generative Adversarial Networks, Inverse Reinforcement Learning, and Energy-Based Models

Chelsea Finn, Paul F. Christiano+2 more|arXiv (Cornell University)|Nov 11, 2016

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 214

ひとこと要約

本論文は、評価可能な生成器密度を持つ特定のGANが、数学的に最大エントロピー逆強化学習（MaxEnt IRL）と等価であることを示し、これがGANをエネルギーベースモデルのへ結びつけ、GAN・IRL・EBM間でアイデアを跨いで移転可能であることを示す。

ABSTRACT

Generative adversarial networks (GANs) are a recently proposed class of generative models in which a generator is trained to optimize a cost function that is being simultaneously learned by a discriminator. While the idea of learning cost functions is relatively new to the field of generative modeling, learning costs has long been studied in control and reinforcement learning (RL) domains, typically for imitation learning from demonstrations. In these fields, learning cost function underlying observed behavior is known as inverse reinforcement learning (IRL) or inverse optimal control. While at first the connection between cost learning in RL and cost learning in generative modeling may appear to be a superficial one, we show in this paper that certain IRL methods are in fact mathematically equivalent to GANs. In particular, we demonstrate an equivalence between a sample-based algorithm for maximum entropy IRL and a GAN in which the generator's density can be evaluated and is provided as an additional input to the discriminator. Interestingly, maximum entropy IRL is a special case of an energy-based model. We discuss the interpretation of GANs as an algorithm for training energy-based models, and relate this interpretation to other recent work that seeks to connect GANs and EBMs. By formally highlighting the connection between GANs, IRL, and EBMs, we hope that researchers in all three communities can better identify and apply transferable ideas from one domain to another, particularly for developing more stable and scalable algorithms: a major challenge in all three domains.

研究の動機と目的

• GANs、IRL、EBMsの関係を動機づけ、形式化する。
• 生成密度が評価可能な場合、特化したGANの識別器がMaxEnt IRLと整合することを示す。
• MaxEnt IRLがエネルギーベースモデルの特殊な場合であることを示す。
• GANが偏りのない分割関数推定を通じてEBMを訓練できる方法を導出する。
• 3つの領域間での安定性とアイデアの移転可能性への影響を議論する。

提案手法

• 生成密度 q(τ) とボルツマンエネルギー cθ(τ) を用いるGAN識別器の特別な形を定義する。
• 識別器 Dτ = (1/Z exp(-cθ(τ)))/(1/Z exp(-cθ(τ)) + q(τ)) を示し、これにより識別器が生成器に依存しなくなる。
• Z を分割関数の重要サンプリング推定量として扱うと、GAN目的がMaxEnt IRL目的と一致することを証明する。
• 生成器損失が log Z に MaxEnt IRL のサンプラー（エントロピー正則化）目的を加えたものと等しくなることを導出する。
• 生成密度が利用可能な場合に、偏りのない分割関数推定量を導出してEBMの訓練へのつながりを拡張する。
• 密度対応型生成器（例：自己回帰モデル）を用いた安定訓練への意味を議論する。

実験結果

リサーチクエスチョン

• RQ1 評価可能な生成密度を持つGANはMaxEnt IRL目的を再現できるか？
• RQ2 どの識別器形がGAN訓練とMaxEnt IRLの同値性をもたらすか？
• RQ3 生成密度が知られているとき、GANはエネルギーベースモデルの訓練とどのように関連するか？
• RQ4 これらの結びつきはGANs、IRL、EBMsのより安定で拡張性のある訓練にどのような示唆を与えるか？

主な発見

• 密度評価可能な生成器を持つGANは、サンプルベースのMaxEnt IRLアルゴリズムと同等である。
• 最適な識別器は生成密度を組み込んだ形で書くことができ、最適解で生成器への依存性を排除する。
• MaxEnt IRL がコスト関数をエネルギーとして持つエネルギーベースモデルの特殊ケースであり、生成密度が利用可能なときGANはEBMを訓練できる。
• 分割関数Zは重要サンプリングによって推定され、その勾配はIRL目的と一致する。
• 生成器損失はMaxEnt IRL のサampler損失と等しく、敵対的訓練とエントロピー正則化された方策最適化を結びつける。
• これはGANs、IRL、EBMs間で安定性と拡張性のアイデアを転送する道筋を形式化する。