[論文レビュー] Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks

Samy Bengio, Oriol Vinyals+2 more|arXiv (Cornell University)|Jun 9, 2015

Multimodal Machine Learning Applications参考文献 25被引用数 1,261

ひとこと要約

この論文では、再帰的ニューラルネットワークの系列予測の訓練中に、段階的に正解トークンをモデル生成予測に置き換えるカリキュラム学習法であるScheduled Samplingを提案する。訓練時と推論時の分布の乖離を埋めることで、誤りの蓄積を低減し、画像キャプションや音声認識などのタスクで性能向上を達成し、標準的な訓練法に比べてデコード精度が顕著に向上する。

ABSTRACT

Recurrent Neural Networks can be trained to produce sequences of tokens given some input, as exemplified by recent results in machine translation and image captioning. The current approach to training them consists of maximizing the likelihood of each token in the sequence given the current (recurrent) state and the previous token. At inference, the unknown previous token is then replaced by a token generated by the model itself. This discrepancy between training and inference can yield errors that can accumulate quickly along the generated sequence. We propose a curriculum learning strategy to gently change the training process from a fully guided scheme using the true previous token, towards a less guided scheme which mostly uses the generated token instead. Experiments on several sequence prediction tasks show that this approach yields significant improvements. Moreover, it was used successfully in our winning entry to the MSCOCO image captioning challenge, 2015.

研究の動機と目的

• RNNを用いた系列予測において、訓練時は正解トークンが使用されるが推論時はモデル生成トークンが使用されるという、訓練と推論の乖離を是正すること。
• 自己回帰的系列生成における誤り伝播を低減するため、モデルが訓練中に自らの予測を処理できるようにすること。
• 機械翻訳、画像キャプション、音声認識などの系列生成タスクにおける一般化性とロバスト性を向上させること。
• 教師あり学習から自己教師付き生成への滑らかな移行を可能にする訓練戦略を開発すること。

提案手法

• Scheduled Samplingは、訓練中の各時刻ステップで正解トークンとモデル自身の予測のどちらを使用するかを制御する採択確率εtを導入する。
• 採択確率εtは、初期値εsから最終値εeへ線形に減少するようにスケジューリングされ、訓練全体を通して完全な監視学習から完全な自己生成に段階的に移行する。
• 各訓練ステップtにおいて、RNNへの入力は確率εtで真の直前トークン、確率1−εtでモデルの予測トークンのいずれかとなる。これによりカリキュラムに類似した訓練スケジュールが実現される。
• モデルは、この確率的入力スケジュール下でのターゲット系列の尤度を最大化するように訓練され、誤りを自己矯正できるように学習する。
• 本手法はLSTMユニットを備えたRNNに適用され、隠れ状態は直前の隠れ状態と現在の入力トークン（正解または予測）に基づいて更新される。
• 推論時には、モデルは自らの予測のみを使用し、実際のデプロイ状況を模倣する。一方、訓練プロセスでは段階的なカリキュラムスケジューリングにより、このシフトに備える。

実験結果

リサーチクエスチョン

• RQ1 訓練中に正解トークンを段階的にモデル生成予測に置き換えるカリキュラム学習戦略が、系列生成性能を向上させることができるか？
• RQ2 Scheduled Samplingにより、推論条件をより反映した訓練が行われることで、自己回帰的RNNにおける誤り蓄積が低減されるか？
• RQ3 Scheduled Samplingの性能は、標準的な教師強制法と完全に自己教師付き生成との比較でどうなるか？
• RQ4 線形減少（εの）といった異なる採択スケジュールが、モデルの一般化性とデコード精度に与える影響は何か？

主な発見

• Scheduled SamplingはMSCOCO画像キャプションチャレンジにおいて顕著なデコード性能向上を示し、2015年の優勝エントリに貢献した。
• HMMアライメント済み状態を用いた音声認識において、ベースラインモデルは次ステップ予測のFERが15.0%であったが、デコード時のFERは46.0%にまで上昇し、推論条件下での一般化性の欠如が示された。
• 「常に採択」モデル（ε=0）は、次ステップ予測ではより悪い19.8%であったが、デコードFERは35.8%にまで低下し、自己教師付き学習がロバスト性を向上させることを示した。
• 最良のScheduled Sampling設定（εs=0.5, εe=0）では、デコードFERが35.0%にまで低下し、ベースラインを上回った。これは段階的カリキュラム訓練が推論性能を向上させることを示している。
• 最も攻撃的なスケジュール（εs=0.9, εe=0.5）では、次ステップFERは19.8%と高く、デコードFERは42.0%にまで上昇し、初期段階での過剰な採択が訓練の安定性を損なうことが示された。
• これらの結果は、Scheduled Samplingが訓練時と推論時の分布のずれを効果的に低減し、系列生成タスクにおける一般化性の向上に寄与することを示している。