[論文レビュー] SEARNN: Training RNNs with Global-Local Losses

Rémi Leblond, Jean-Baptiste Alayrac+2 more|arXiv (Cornell University)|Jun 14, 2017

Topic Modeling参考文献 18被引用数 13

ひとこと要約

SeaRnnは、構造予測に基づく「学習して探索する」（L2S）フレームワークを用いて、テスト時のデコードと一致するようにトレーニングを最適化する、RNN向けの新しいトレーニングアルゴリズムを提案する。これにより、露わなバイアスや劣った代替損失の質といった問題を軽減し、スケーリングを伴う大規模な語彙を有するタスクにおいても、ウォームスタートを必要とせずに、OCR、綴りの修正、機械翻訳の各タスクでMLEを上回る性能を発揮する。

ABSTRACT

We propose SEARNN, a novel training algorithm for recurrent neural networks (RNNs) inspired by the "learning to search" (L2S) approach to structured prediction. RNNs have been widely successful in structured prediction applications such as machine translation or parsing, and are commonly trained using maximum likelihood estimation (MLE). Unfortunately, this training loss is not always an appropriate surrogate for the test error: by only maximizing the ground truth probability, it fails to exploit the wealth of information offered by structured losses. Further, it introduces discrepancies between training and predicting (such as exposure bias) that may hurt test performance. Instead, SEARNN leverages test-alike search space exploration to introduce global-local losses that are closer to the test error. We first demonstrate improved performance over MLE on two different tasks: OCR and spelling correction. Then, we propose a subsampling strategy to enable SEARNN to scale to large vocabulary sizes. This allows us to validate the benefits of our approach on a machine translation task.

研究の動機と目的

• MLEトレーニングとテスト時のデコードの間の乖離、特に露出バイアスや劣った代替損失の質といった問題を解消すること。
• トレーニング中に構造的テスト誤差情報を組み込むことで、グローバルローカル損失設計を用いてRNNの一般化性能を向上させること。
• 強化学習ベースの手法の制限を克服し、事前学習モデルに依存せずに、エンドツーエンドでRNNをスクラッチからトレーニング可能にすること。
• 効率的なサブサンプリングを用いて、ニューラル機械翻訳のような大語彙タスクへスケーリングすること。

提案手法

• SeaRnnは、推論時と同一のデコード戦略を用いた決定的ロールアウトから導出されるグローバルシーケンスコストと、局所的ステップごとの損失を組み合わせたグローバルローカル損失を導入する。
• トレーニング中に候補シーケンスの構造的探索を実行し、シーケンスレベルのコストを計算する。その後、勾配の微分可能近似を用いて逆伝播を行う。
• ロールアウト中に固定されたデコードポリシー（例：グリーディまたはビームサーチ）を用いてコストを計算することで、テスト時の挙動と整合性を保ち、損失における確率的要因を回避する。
• 計算コストを削減するため、ロールアウトに使用するシーケンスのサブセットをサンプリングするサブサンプリング戦略を導入。これにより、大語彙タスクへのスケーリングを維持しながら性能を保持できる。
• グローバルローカル損失は、局所的交差エントロピー項と、予測された全シーケンスに基づくグローバルコスト項の重み付き和として計算され、MLEに比べてより良い勾配伝搬が可能になる。
• 勾配は、バックプロパゲーション中にコスト値を固定することで近似されるため、コスト関数の非微分可能性にもかかわらず、効率的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 構造予測に基づくグローバルローカル損失は、MLEに比べてシーケンスモデリングタスクにおけるRNN性能を向上させるか？
• RQ2 RLベースの手法やMLEに比べてより良い勾配信号を提供することで、SeaRnnはウォームスタートを不要にするのか？
• RQ3 グローバルローカル損失機構は、ニューラル機械翻訳のような大語彙タスクへスケーリング可能か？
• RQ4 サブサンプリング戦略は、高次元のシーケンス空間における性能とトレーニング効率にどのように影響を与えるか？
• RQ5 確率的サンプリングではなく決定的ロールアウトを用いることで、トレーニングとテスト時の挙動の整合性はどの程度向上するか？

主な発見

• SeaRnnは、ウォームスタートを必要とせずに、OCRおよび綴りの修正タスクでMLEを顕著に上回り、一般化性能の向上を示した。
• 大規模な機械翻訳タスクにおいて最先端の結果を達成し、スケーリング可能性と大規模な環境下での有効性を裏付けた。
• サブサンプリング戦略により、トレーニング時間を顕著に短縮しながらも、MLEを上回る性能の維持が可能になった。これにより、大語彙設定への応用が可能になった。
• アクタクリティックやREINFORCEベースの手法とは異なり、別個のモデル（例：ベースラインやクリティック）を追加で必要としないため、トレーニングの簡素化と複雑性の低減が達成された。
• テスト時のデコードと整合する決定的ロールアウトを用いることで、RLベース手法における確率的ポリシーグラデントが引き起こす乖離を回避した。
• グローバルローカル損失設計により、MLEや標準的なRL手法に比べて、より効果的な構造的誤差信号からの学習が可能となり、シーケンスの各ステップへの信号伝達が改善された。