[論文レビュー] Sequence Level Training with Recurrent Neural Networks

Marc’Aurelio Ranzato, Sumit Chopra+2 more|arXiv (Cornell University)|Nov 20, 2015

Topic Modeling参考文献 29被引用数 945

ひとこと要約

この論文では、露出バイアスを低減し、BLEU や ROUGE などの評価指標を直接最適化する、再帰的ニューラルネットワークのシーケンスレベル学習手法である MIXER を提案する。交差エントロピー事前学習と段階的 REINFORCE 基盤のポリシー学習を組み合わせることで、MIXER は、強力なベースラインやビームサーチ拡張モデルでさえも上回るグリーディ生成性能を達成し、特に要約生成および画像キャプション生成タスクにおいて顕著に高速である。

ABSTRACT

Many natural language processing applications use language models to generate text. These models are typically trained to predict the next word in a sequence, given the previous words and some context such as an image. However, at test time the model is expected to generate the entire sequence from scratch. This discrepancy makes generation brittle, as errors may accumulate along the way. We address this issue by proposing a novel sequence level training algorithm that directly optimizes the metric used at test time, such as BLEU or ROUGE. On three different tasks, our approach outperforms several strong baselines for greedy generation. The method is also competitive when these baselines employ beam search, while being several times faster.

研究の動機と目的

• テスト時における自身の予測に依存するのに対し、学習時には正解入力を用いるシーケンス生成における露出バイアスを解消すること。
• 微分不可能で組み合わせ的に複雑なシーケンスレベルの評価指標（例：BLEU や ROUGE）を直接最適化すること。
• テキスト生成の典型的な大規模アクション空間において、ランダムなポリシー探索が失敗する状況でも有効な強化学習を可能にすること。
• 推論時に高価なビームサーチを必要としない、効果的かつ効率的な学習手法を開発すること。
• ビームサーチを組み合わせた場合でさえも、標準的な交差エントロピー学習を上回る、ポリシー最適化によるシーケンスレベル学習の有効性を示すこと。

提案手法

• MIXER は、交差エントロピーと REINFORCE のハイブリッド損失を用いてモデルを学習し、ランダムな初期化ではなく、交差エントロピー事前学習済みポリシーから開始する。
• 段階的学習を採用し、訓練中に徐々にモデル生成トークンの割合を増やして、テスト時の挙動を模倣する。
• サンプリングされたシーケンスに基づいて期待報酬（例：BLEU や ROUGE）を最適化するため、REINFORCE アルゴリズムを適用し、微分可能でない報酬を回避する。
• 各ステップで1サンプルずつを用いて方策勾配を推定し、分散低減のためのベースラインを適用する。
• モデルに依存しないアプローチであり、RNN を含む任意のシーケンスモデルに適用可能で、任意の微分可能な報酬関数を用いることができる。
• 探索と活用のバランスを保つためにグリッドサーチを用いて訓練スケジュールを最適化し、収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いたシーケンスレベル学習は、標準的な次単語予測と比較して、テキスト生成の質を向上させることができるか？
• RQ2 ランダムなポリシー初期化の代わりに交差エントロピー事前学習済みポリシーを用いることで、大規模なアクション空間でも安定した学習が可能になるか？
• RQ3 MIXER は、交差エントロピーにビームサーチを組み合わせた強力なベースラインと比較して、性能と推論速度の両面で優れているか？
• RQ4 段階的学習とハイブリッド損失の組み合わせは、露出バイアスの低減にどの程度効果的か？
• RQ5 BLEU や ROUGE などの指標を直接最適化することは実際の応用において可能で、有益であるか？

主な発見

• 要約生成タスクにおいて、MIXER はグリーディ生成で ROUGE-2 スコア 16.22 を達成し、XENT ベースライン（13.01）および DAD（12.18）を上回った。
• 機械翻訳タスクでは、MIXER が BLEU-4 スコア 20.73 を達成し、XENT ベースライン（17.74）および DAD（20.12）を上回った。
• 画像キャプション生成タスクでは、MIXER が BLEU-4 スコア 29.16 を達成し、XENT（27.8）および DAD（28.16）を上回った。
• MIXER のグリーディ探索は、3つのタスクのうち2つにおいて、ビームサーチ（k=10）を組み合わせた XENT よりも優れた性能を示し、効率性と性能の両面で優位性を示した。
• ビームサーチ（k=10）に比べて、少なくとも10倍高速でありながら、すべてのタスクで性能を維持または上回った。
• MIXER にビームサーチを組み合わせることでさらなる性能向上が得られるが、その恩恵はタスクに依存するため、MIXER とビームサーチは相補的であることが示された。