[論文レビュー] Norm-Based Curriculum Learning for Neural Machine Translation

Xuebo Liu, Houtim Lai+2 more|arXiv (Cornell University)|Jun 3, 2020

Natural Language Processing Techniques参考文献 37被引用数 8

ひとこと要約

この論文は、語彙埋め込みのノルムを用いて文の難易度、モデルの熟達度、文の重みを自動的に決定するノルムベースのカリキュラム学習手法を提案する。ノルムを言語的およびモデルベースの難易度の代理指標として用いることで、完全に自動化されたカリキュラム学習が可能となり、アーキテクチャの変更や追加パラメータなしに、WMT’14 En-DeおよびWMT’17 Zh-Enベンチマークでそれぞれ+1.17/+1.56 BLEUの向上と2.22倍/3.33倍の学習速度向上を達成した。

ABSTRACT

A neural machine translation (NMT) system is expensive to train, especially with high-resource settings. As the NMT architectures become deeper and wider, this issue gets worse and worse. In this paper, we aim to improve the efficiency of training an NMT by introducing a novel norm-based curriculum learning method. We use the norm (aka length or module) of a word embedding as a measure of 1) the difficulty of the sentence, 2) the competence of the model, and 3) the weight of the sentence. The norm-based sentence difficulty takes the advantages of both linguistically motivated and model-based sentence difficulties. It is easy to determine and contains learning-dependent features. The norm-based model competence makes NMT learn the curriculum in a fully automated way, while the norm-based sentence weight further enhances the learning of the vector representation of the NMT. Experimental results for the WMT'14 English-German and WMT'17 Chinese-English translation tasks demonstrate that the proposed method outperforms strong baselines in terms of BLEU score (+1.17/+1.56) and training speedup (2.22x/3.33x).

研究の動機と目的

• 高リソース環境および深層アーキテクチャ設定におけるNMTシステムの学習効率と性能を向上させること。
• NMT学習における高コストで手作業によるカリキュラム設計の課題を、難易度評価とカリキュラムスケジューリングの自動化によって解決すること。
• ノルムベースの文の重みを導入することで、頻度の高いまたはノルムが低い文へのバイアスを低減し、文の難易度に応じた表現学習のバランスを取ること。
• モデル熟達度に適応可能な、完全に自動化され、パラメータフリーのカリキュラム学習フレームワークを構築すること。

提案手法

• 文の難易度の代理指標として、語彙埋め込みのL2ノルムを用い、語の頻度などの言語的単純さとモデルが学習した特徴を統合する。
• 隠れ状態表現のノルムに基づいてモデル熟達度を定義し、モデルの向上に伴い自動的にカリキュラムを進める仕組みを実現する。
• 損失関数に、文のノルムの逆数に比例する文の重みを導入し、頻度の高いまたはノルムが低い文へのバイアスを低減する。
• ミニバッチサンプリング中にノルムベースのカリキュラムを適用し、学習全体を通してノルムが低い（簡単な）順から高い（難しい）順にバッチを再順序付けする。
• ノルムの計算に事前学習済みの単純な語彙埋め込みモデルを用いることで、計算コストを低く抑えつつ表現力を確保する。
• モデルアーキテクチャの変更やパラメータの追加なしに、標準的なNMT学習にノルムベースのカリキュラムを統合する。

実験結果

リサーチクエスチョン

• RQ1 語彙埋め込みのノルムは、言語的およびモデルベースの特徴を統合した有効で自動化可能な文の難易度測定に適しているか？
• RQ2 ノルムベースの指標を用いてモデル熟達度を推定し、NMT学習における完全な自動カリキュラム進行を可能にできるか？
• RQ3 ノルムベースの文の重みを組み込むことで、NMTにおける表現学習とモデル一般化性能がどのように向上するか？
• RQ4 提案手法は、標準ベンチマークにおいて、翻訳品質と学習効率の両面で強力なベースラインを上回るか？
• RQ5 ノルムベースのカリキュラムは、アーキテクチャの変更なしに、さまざまなNMTアーキテクチャおよび言語対に普遍的に適用可能か？

主な発見

• 提案手法は、強力なベースラインと比較して、WMT’14 English–German翻訳タスクで+1.17 BLEUポイントの向上を達成した。
• WMT’17 Chinese–English翻訳タスクでは+1.56 BLEUポイントの向上を示し、言語対を越えた優れた一般化性能を示した。
• WMT’14 En-Deでは学習時間を2.22倍短縮し、WMT’17 Zh-Enでは3.33倍に高速化した。
• ノルムベースの文の重み機構により、複雑な文の翻訳能力が向上し、事例研究では、従来モデルが節を省略するのに対し、提案手法は完全に翻訳していた。
• NMTアーキテクチャの変更や追加パラメータなしに優れた性能を達成したため、実世界への導入に実用的である。
• アブレーションスタディにより、熟達度ベースのカリキュラムとノルムベースの文の重みを組み合わせることで、簡単および中程度の難易度の文の学習バランスが最良のものとなった。