[論文レビュー] Competence-based Curriculum Learning for Neural Machine Translation

Emmanouil Antonios Platanios, Otilia Stretcu+3 more|arXiv (Cornell University)|Mar 23, 2019

Natural Language Processing Techniques参考文献 26被引用数 16

ひとこと要約

この論文は、推定された難易度とモデルの熟達度に基づいて動的に訓練例をフィルタリングする、熟達度に基づくカリキュラム学習フレームワークを提案している。このフレームワークにより、より速い収束と向上した性能が実現される。易しい例から順次学習を始め、難易度の高い例を段階的に導入することで、訓練時間を最大70％短縮し、BLEUスコアを最大2.2ポイント向上させ、特にハイパーパrameterチューニングが最小限のTransformerモデルにおいて顕著な効果を示す。

ABSTRACT

Current state-of-the-art NMT systems use large neural networks that are not only slow to train, but also often require many heuristics and optimization tricks, such as specialized learning rate schedules and large batch sizes. This is undesirable as it requires extensive hyperparameter tuning. In this paper, we propose a curriculum learning framework for NMT that reduces training time, reduces the need for specialized heuristics or large batch sizes, and results in overall better performance. Our framework consists of a principled way of deciding which training samples are shown to the model at different times during training, based on the estimated difficulty of a sample and the current competence of the model. Filtering training samples in this manner prevents the model from getting stuck in bad local optima, making it converge faster and reach a better solution than the common approach of uniformly sampling training examples. Furthermore, the proposed method can be easily applied to existing NMT models by simply modifying their input data pipelines. We show that our framework can help improve the training time and the performance of both recurrent neural network models and Transformers, achieving up to a 70% decrease in training time, while at the same time obtaining accuracy improvements of up to 2.2 BLEU.

研究の動機と目的

• Transformerモデルを含むNMTシステムにおける訓練時間とハイパーパrameterへの感受性を低減すること。
• 構造的な訓練データ順序付けにより、悪い局所最適解を回避することでモデル性能を向上させること。
• 調整可能なハイパーパrameterが1つだけ必要な汎用的で適用しやすいカリキュラム学習手法を開発すること。
• 複雑な学習率スケジュールが不要な小規模バッチサイズでも、RNNおよびTransformerモデルの両方を効果的に訓練できること。
• ヒューリスティックな手法や離散化されたアプローチを凌駕する、原理的かつ自動的なカリキュラムフレームワークを提供すること。

提案手法

• 訓練コーパス内のn-gram頻度に基づくn-gram希少度ヒューリスティックを用いて、各訓練例の難易度を推定する。
• モデル熟達度は、最近のミニバッチにおける平均損失で測定され、学習の進行状況を反映する。
• 訓練中は、難易度 ≤ 現在のモデル熟達度である例のみを用いるため、モデルが過負荷にならないように保証される。
• カリキュラムフェーズは固定ステップ数（調整可能な1つのハイパーパrameter）で実施され、その後は完全な訓練データが使用される。
• フレームワークはデータパイプラインの修正によって適用され、既存のNMTモデルのアーキテクチャに変更を加える必要がない。
• このアプローチは汎用的であり、アライメントスコアや事前学習済み言語モデル埋め込みなど、他の難易度指標への拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 均一なサンプリングと比較して、動的で熟達度に基づくカリキュラム学習戦略は、訓練時間を短縮し、NMTの性能を向上させることができるか？
• RQ2 特に訓練が難しいとされるTransformerモデルの訓練ダイナミクスと収束に、この手法はどのように影響を与えるか？
• RQ3 このフレームワークは、大規模バッチサイズや複雑な学習率スケジュールといった特殊なヒューリスティクスへの依存をどの程度低減できるか？
• RQ4 この手法は、RNNやTransformerといった異なるNMTアーキテクチャに一般化できるか？
• RQ5 最小限のハイパーパrameterチューニングで適用可能でありながら、一貫した改善効果を発揮できるか？

主な発見

• 提案手法は、標準的な訓練と比較して、最大70％の訓練時間を短縮し、以前の研究で報告された最大46％の短縮効果をはるかに上回る。
• フレームワークは、最大2.2 BLEUポイントの性能向上を実現し、Zhangら（2018）が膨大なハイパーパrameterチューニングを経て報告した1.55 BLEUポイントの向上を上回る。
• この手法は、特にTransformerモデルの訓練において顕著に効果的であり、小規模バッチサイズでかつ複雑な学習率スケジュールなしに、最先端の性能を達成できる。
• 手動で設計されたカリキュラムスケジュールや特殊な最適化設定といったヒューリスティックなエンジニアリングの必要性が低減される。
• 均一なサンプリングと比較しても、RNNおよびTransformerアーキテクチャの両方に対して、より良い性能とより速い収束を達成する。
• フレームワークは、異なるデータセットやモデルタイプにおいても頑健で効果的であり、特定のアーキテクチャに限定されない汎用性を示している。