[論文レビュー] An Empirical Exploration of Curriculum Learning for Neural Machine Translation

Xuan Zhang, Gaurav Kumar+7 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 20被引用数 106

ひとこと要約

この論文は、ドイツ語–英語NMTの確率的カリキュラム学習フレームワークを調査し、BLEUの低下なく収束速度の向上の可能性を示すが、カリキュラム設計とハイパーパラメータに結果が大きく影響される。

ABSTRACT

Machine translation systems based on deep neural networks are expensive to train. Curriculum learning aims to address this issue by choosing the order in which samples are presented during training to help train better models faster. We adopt a probabilistic view of curriculum learning, which lets us flexibly evaluate the impact of curricula design, and perform an extensive exploration on a German-English translation task. Results show that it is possible to improve convergence time at no loss in translation quality. However, results are highly sensitive to the choice of sample difficulty criteria, curriculum schedule and other hyperparameters.

研究の動機と目的

• データが豊富なニューラル機械翻訳システムの訓練時間削減を動機づけ、カリキュラム学習を探究する。
• 時間依存確率で訓練サンプルを選択する確率的カリキュラムフレームワークを提案する。
• 収束とBLEUへの影響を理解するため、さまざまな難易度基準とスケジュールを評価する。
• Sockeye NMTツールキットを使用して、ドイツ語–英語の TED Talks データでカリキュラム学習を評価する。
• NMT設定でカリキュラムを設計する際の実践的な指針と限界を特定する。

提案手法

• 各訓練サンプルが時間依存的な確率で選択されると仮定し、それを用いてカリキュラムを形成する確率的ビューを採用する（q_i^t）。
• スケジューリングとサンプリングを簡素化するため、難易度が似たデータをシャードに整理する。
• モデルベースのスコア一等（one-best score p(y_hat|x)）や語彙特徴（文の長さ、単語頻度ランキング）を含む難易度基準を定義する。
• デフォルト/易-から-難/逆順/ブースト/リデュース/ノーシャッフルなど、複数のカリキュラムスケジュールを用いて、エポックまたはフェーズを横断して効果を研究する。
• Sockeyeのドイツ語–英語 TED Talksデータで512-d埋め込み、LSTMエンコーダ/デコーダ、BPE-30kを用いてNMTモデルを訓練し、カリキュラム変種を標準ベースラインと比較する。
• 一定数のバッチ後にカリキュラムを更新し、検証パープレキシティが安定するまで訓練を継続する。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム学習はBLEUを損なうことなくNMTモデルの収束を速められるか？
• RQ2 どの難易度基準（モデルベース対語彙）とどのカリキュラムスケジュールが、異なるハイパーパラメータの下で収束を最も改善するか？
• RQ3 学習率やカリキュラム更新頻度などのハイパーパラメータに対して、カリキュラムの成果はどれくらい敏感か？

主な発見

• カリキュラム学習は、BLEUの低下を伴わない収束速度の向上を、一部の設定で達成できる。100のうち20のカリキュラムがベースラインより早く収束し、BLEUの低下はない。
• カリキュラムの効果はハイパーパラメータに強く左右され、特定の設定で一貫して優位な戦略は存在しない。
• 平均語彙頻度ベースの難易度と逆順スケジュールでは、訓練時間が約19%–30%改善。
• 学習率を高く設定した場合（0.002）、ブースト付きのone-bestスコアは19%早く収束（59k vs 73k バッチ）し、BLEUは28.4 vs 28.1に。lr=0.0008では、いくつかのカリキュラムがベースラインBLEUと同等または上回り、速度向上は様々。
• 文の長さベースの基準は有利な効果を限定的に提供するか、初期段階の利点に留まり、収束時の収束時間を一貫して改善することはなかった。
• 全体として、単純な長さまたは頻度ベースの基準は、より高価な基準と同等に機能することがあり、普遍的に最良のカリキュラムは存在しない。ハイパーパラメータが結果に大きく影響する。）