[論文レビュー] ACtuAL: Actor-Critic Under Adversarial Learning

Anirudh Goyal, Nan Rosemary Ke+5 more|arXiv (Cornell University)|Nov 13, 2017

Reinforcement Learning in Robotics参考文献 30被引用数 8

ひとこと要約

ACtuALは、GANにおける勾配ベースの生成器学習を、非可微分な離散トークンを介した逆誤差伝搬を避ける批判者ベースの時系列差分目的に置き換える、画期的なアクタ・クリティックフレームワークを提案する。この手法により、逆誤差伝搬なしに離散系列に対する生成的RNNの有効な学習が可能となり、教師強制ベースラインを上回る尤度とビット/文字数を改善した。本手法は、キャラクタレベル言語モデリングベンチマークで最先端の尤度を達成した。

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful framework for deep generative modeling. Posed as a two-player minimax problem, GANs are typically trained end-to-end on real-valued data and can be used to train a generator of high-dimensional and realistic images. However, a major limitation of GANs is that training relies on passing gradients from the discriminator through the generator via back-propagation. This makes it fundamentally difficult to train GANs with discrete data, as generation in this case typically involves a non-differentiable function. These difficulties extend to the reinforcement learning setting when the action space is composed of discrete decisions. We address these issues by reframing the GAN framework so that the generator is no longer trained using gradients through the discriminator, but is instead trained using a learned critic in the actor-critic framework with a Temporal Difference (TD) objective. This is a natural fit for sequence modeling and we use it to achieve improvements on language modeling tasks over the standard Teacher-Forcing methods.

研究の動機と目的

• 非微分可能なサンプリング操作のため、GANを離散データに適応させる根本的課題に対処すること。
• 推論時における露出バイアスと一般化性能の低さに苦しむRNNにおける教師強制の制限を克服すること。
• アクタ・クリティックフレームワークにおいて勾配逆誤差伝搬を学習済みクリティックに置き換えることで、離散系列生成における有効な信用配分を実現すること。
• 離散変数を通過する勾配経路が存在しない敵対的訓練を用いて、キャラクタレベルおよびワードレベル言語モデリングタスクにおける系列モデリング性能を向上させること。

提案手法

• 生成器をアクターとし、ディスクラミネーターからの報酬信号を推定するクリティックを用いる、GAN生成器学習を強化学習のアクタ・クリティック問題に再定式化する。
• 時系列差分（TD）目的関数を用い、クリティックが将来のタイムステップにおけるディスクラミネーターが本物の系列と生成された系列を区別できる能力を予測できるように学習する。
• クリティックのTD誤差に基づく方策勾配更新を用いて生成器を学習し、離散トークンを介した直接的な逆誤差伝搬を回避する。
• 敵対的クリティックに重み付き尤度の最大化目的を統合し、学習の正則化と一般化性能の向上を図る。
• 別個のディスクラミネーターネットワークを用いて二値の監視信号を提供する一方で、クリティックは一貫した時系列的報酬信号を提供し、信用配分を実現する。
• すべてのモデルで勾配クリッピングとAdam最適化（学習率0.0001）を適用し、固定長の重複のない系列を用いて学習を行う。

実験結果

リサーチクエスチョン

• RQ1 離散変数を通過する勾配逆誤差伝搬に依存せずに、敵対的訓練を離散系列生成に効果的に適用できるか？
• RQ2 クリティックベースの時系列差分目的は、教師強制と比較してRNNにおける長期依存関係のモデリングを改善できるか？
• RQ3 GANディスクラミネーターとアクタ・クリティックフレームワークを統合することで、キャラクタレベル言語モデリングにおける尤度とサンプル品質が向上するか？
• RQ4 本手法であるACtuALは、標準的な教師強制およびスケジュールドサンプリングと比較して、テスト尤度および一般化性能において優れているか？

主な発見

• キャラクタレベルPenn Treebankデータセットでは、ACtuALが検証セットで1.47（教師強制）から1.43へ、テストセットで1.38から1.34へとビット/文字数（BPC）を低下させた。
• より大きなキャラクタレベルText8データセットでは、ACtuALは検証セットでBPCが1.40、テストセットで1.39を達成し、それぞれ教師強制ベースラインの1.42および1.41を上回った。
• 中国語の詩データセットでは、ACtuALが検証セットで負の対数尤度を32.39（教師強制）から32.05へ、テストセットで31.83へと低下させ、尤度の向上を示した。
• 長期依存関係を捉え、系列全体にわたって安定した信用配分を提供するクリティックを学習することで、一般化性能が向上した。
• TDクリティックと重み付き尤度の最大化目的の組み合わせが最良の性能を示し、効果的な正則化が実現された。