[論文レビュー] Sequence Generation with Guider Network

Ruiyi Zhang, Changyou Chen+6 more|arXiv (Cornell University)|Nov 2, 2018

Multimodal Machine Learning Applications参考文献 31被引用数 5

ひとこと要約

この論文は、中間報酬とグローバル構造的ガイダンスを提供するガイドネットワークを用いた、シーケンス生成のためのモデルベース強化学習フレームワークを提案する。この手法により、テキスト生成における品質と多様性が向上する。生成シーケンスの特徴表現を訓練データからのものと一致させることで、自己BLEUスコアが低く、テストBLEUスコアが高いという、非条件および条件付き生成タスクで最先端の性能を達成する。

ABSTRACT

Sequence generation with reinforcement learning (RL) has received significant attention recently. However, a challenge with such methods is the sparse-reward problem in the RL training process, in which a scalar guiding signal is often only available after an entire sequence has been generated. This type of sparse reward tends to ignore the global structural information of a sequence, causing generation of sequences that are semantically inconsistent. In this paper, we present a model-based RL approach to overcome this issue. Specifically, we propose a novel guider network to model the sequence-generation environment, which can assist next-word prediction and provide intermediate rewards for generator optimization. Extensive experiments show that the proposed method leads to improved performance for both unconditional and conditional sequence-generation tasks.

研究の動機と目的

• 生成終了後にのみ得られる最終スカラー報酬に起因する報酬のスパarsity問題に対処すること。
• グローバル構造的情報を反映する中間報酬を組み込むことで、サンプルの多様性と意味的整合性を向上させること。
• 学習済み環境モデルを用いることで、方策最適化の分散を低減し、訓練効率を向上させること。
• テキスト生成や画像キャプションを含む、非条件および条件付きシーケンス生成タスクにおけるより良い性能を実現すること。
• 新たな自己注意機構を統合したガイドネットワークを用いて、将来のトークン予測をガイドする「先読み」メカニズムを提供すること。

提案手法

• ガイドネットワークは、訓練シーケンスのグローバル構造的情報をトークンの特徴空間にエンコードする。
• ガイドネットワークは、生成シーケンスの特徴と自身の予測特徴を照合することで中間報酬を発行し、生成過程における密な監視を提供する。
• より高いレベルの「先読み」情報を得るために、ガイドネットワークに新しい自己注意メカニズムを統合する。
• 中間報酬を、GANの識別器損失や評価スコアなどの最終スカラー報酬と組み合わせ、方策勾配法によりジェネレータを最適化する。
• モデルフリー方策学習の利点と環境モデル化の利点を組み合わせた、モデルベース強化学習の枠組み内でフレームワークを適用する。
• ジェネレータは方策勾配法で訓練され、報酬はガイドによる中間ガイダンスと最終タスク固有の報酬の両方を含む。

実験結果

リサーチクエスチョン

• RQ1 学習済み環境モデルが、シーケンス生成における訓練安定性とサンプル品質を向上させる中間報酬を提供できるか？
• RQ2 ガイドネットワークによるグローバル構造的情報の組み込みが、より多様で意味的に整合性のあるシーケンスを生み出すか？
• RQ3 BLEUおよび自己BLEUスコアの観点から、提案手法は従来のモデルフリー強化学習およびGANベースの手法と比べてどのように差をつけるか？
• RQ4 ガイドネットワークの「先読み」機能が、テキスト生成における長期的シーケンス整合性を向上させられるか？
• RQ5 中間報酬の統合が、方策最適化における分散をどれほど低減し、サンプル効率を向上させるか？

主な発見

• 提案手法であるGMGANは、COCO画像キャプションデータセットにおいて、最先端のLeakGANを含むすべてのベースラインより高いテストBLEUスコアを達成した。
• GMGANはLeakGANと比べて顕著に低い自己BLEUスコアを示しており、多様性が高く、モード崩壊が抑制されていることを示している。
• COCOデータセットにおいて、GMGANは品質（テストBLEU）と多様性（自己BLEウ）の両面で他の手法を上回り、生成バランスの向上を示している。
• アブレーションスタディにより、ガイドネットワークおよび自己注意メカニズムの両方が性能向上に寄与していることが確認された。
• 本手法は、非条件および条件付きシーケンス生成タスクの両方で、サンプル品質と多様性が向上しており、強靭性と一般化性能を示している。
• ガイドネットワークからの中間報酬の使用により、標準的なモデルフリー強化学習と比較して、訓練の分散が低減され、方策最適化が向上した。