[論文レビュー] Connecting Generative Adversarial Networks and Actor-Critic Methods

David Pfau, Oriol Vinyals|arXiv (Cornell University)|Oct 6, 2016

Reinforcement Learning in Robotics参考文献 27被引用数 93

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）とアクター・クリティック（AC）強化学習手法の間の形式的関係を確立し、GANsを報酬に影響を与えないアクター・クリティックの特殊ケースとして定式化することで、両者の共通する最適化の不安定性と、エントロピー正則化、バッチ正規化、リプレイバッファなどのクロスコミュニティ技術を特定する。GANの訓練を安定化させる知見がACから得られ、逆にACの改善にも貢献し、多段階の深層学習最適化における共同イノベーションを促進する。

ABSTRACT

Both generative adversarial networks (GAN) in unsupervised learning and actor-critic methods in reinforcement learning (RL) have gained a reputation for being difficult to optimize. Practitioners in both fields have amassed a large number of strategies to mitigate these instabilities and improve training. Here we show that GANs can be viewed as actor-critic methods in an environment where the actor cannot affect the reward. We review the strategies for stabilizing training for each class of models, both those that generalize between the two and those that are particular to that model. We also review a number of extensions to GANs and RL algorithms with even more complicated information flow. We hope that by highlighting this formal connection we will encourage both GAN and RL communities to develop general, scalable, and stable algorithms for multilevel optimization with deep networks, and to draw inspiration across communities.

研究の動機と目的

• GANsとアクター・クリティック手法の間の数学的同等性を、二段階最適化フレームワークにおいて形式化すること。
• GANsとアクター・クリティック手法に共通する訓練の不安定性（例：モード崩壊、周期的挙動）を特定すること。
• エントロピー正則化、バッチ正規化、リプレイバッファなどの安定化技術をGANとRLコミュニティの間で移転すること。
• GANとRL研究の間でのアイデアの交流を促進し、より安定的でスケーラブルかつ一般化可能な多段階の深層学習最適化アルゴリズムの開発を図ること。

提案手法

• 生成器をアクター、識別器をクリティックとする二段階最適化問題としてGANsを定式化し、識別器の出力を状態なしMDPにおける報酬信号として扱う。
• GANの目的関数を、アクター・クリティック価値関数更新と同等のミニマックスゲームとして再解釈し、識別器の分類確率をクリティックの価値推定として扱う。
• エントロピー正則化を生成器に適用してモード崩壊を防ぎ、連続的行動空間の強化学習における探索促進と類似した効果を発揮する。
• バッチ正規化とバーチャルバッチ正規化をGANsおよびAC手法の両方で使用し、訓練ダイナミクスの安定化と内部共変量シフトの低減を図る。
• リプレイバッファをGANsに適用し、過去の生成サンプルを保存することで識別器の過学習を防ぐが、漸近的なサンプル品質向上には限界がある。
• ACから得られるターゲットネットワークとコンpatibleなクリティックの適用可能性を分析し、時間的ダイナミクスの欠如とGANのMDPにおけるゼロ勾配性のため、その有効性は限定的であると指摘する。

実験結果

リサーチクエスチョン

• RQ1 GANsは、アクターが報酬に影響を与えない強化学習のアクター・クリティック手法の特殊ケースとして形式的に再解釈可能か？
• RQ2 GANsとアクター・クリティック手法に共通する最適化の不安定性（例：モード崩壊、周期的挙動）は何か？ そして、これらを体系的に是正する方法は？
• RQ3 エントロピー正則化、バッチ正規化、リプレイバッファといったアクター・クリティック手法からの安定化技術の中で、GAN訓練に効果的に転用可能なものはどれか？
• RQ4 GANsと標準的なRL環境との構造的差異（例：状態遷移の欠如、遅延報酬の欠如）は、ターゲットネットワークのようなAC技術の適用性にどのように影響を与えるか？
• RQ5 報酬の期待値が常に0.5であることを踏まえると、アクター・クリティック理論におけるコンpatibleなクリティックの概念をGANの文脈に意味的に拡張可能か？

主な発見

• GANsは、識別器がクリティック、生成器がアクターとして機能する状態なし環境における二段階最適化問題として、アクター・クリティック手法と形式的に同等に見なせる。
• 生成器におけるエントロピー正則化は、連続的行動空間の強化学習における探索促進と同様に、モード崩壊を防ぐのに有効である。
• バッチ正規化およびバーチャルバッチ正規化は、特に深層ネットワークにおいて、GANsおよびアクター・クリティック手法の両方の訓練安定性を顕著に向上させる。
• リプレイバッファはGANsに適用されたが、生成されたサンプルの漸近的正確性を向上させることはできず、GANsへのオフポリシー・リプレイの適用に限界があることが示唆された。
• ターゲットネットワークは、時間的ダイナミクスの欠如と、識別器の損失が標準的な回帰問題に帰着することから、GANsにはあまり適用されない。
• コンpatibleなクリティックの概念は、任意の方策の真の価値が常に0.5であるため、GANsに自然に拡張されず、方策勾配がゼロとなるため、敵対的訓練の目的と矛盾する。