[論文レビュー] Boosting Neural Machine Translation

Dakun Zhang, Jun-Gi Kim+2 more|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 19被引用数 16

ひとこと要約

この論文は、文の難易度（パープレキシティで測定）に基づいてトレーニングデータを動的に再重み付けすることで、トレーニング効率と翻訳精度を向上させるデータブースティング手法を提案する。各エポックでパープレキシティが最も高い上位80%の文のペアのみを選択してトレーニングを行うことで、ニューラル機械翻訳（NMT）の性能が1.63 BLEU向上し、トレーニング時間を20%削減するが、ニューラルネットワークアーキテクチャの変更は行わない。

ABSTRACT

Training efficiency is one of the main problems for Neural Machine Translation (NMT). Deep networks need for very large data as well as many training iterations to achieve state-of-the-art performance. This results in very high computation cost, slowing down research and industrialisation. In this paper, we propose to alleviate this problem with several training methods based on data boosting and bootstrap with no modifications to the neural network. It imitates the learning process of humans, which typically spend more time when learning "difficult" concepts than easier ones. We experiment on an English-French translation task showing accuracy improvements of up to 1.63 BLEU while saving 20% of training time.

研究の動機と目的

• 最先端のNMTシステムに伴う高い計算コストと長時間のトレーニングを緩和すること。
• ニューラルネットワークアーキテクチャを変更せずにトレーニング効率とモデル収束の安定性を向上させること。
• 「難しい」トレーニング例を優先することで、より良い一般化性能と高速な収束が達成されるかを検証すること。
• 人間の学習を模倣するデータ中心のトレーニングポリシーを開発すること。

提案手法

• 各トレーニングエポックの後、パープレキシティ値が最も高い上位80%のトレーニングインスタンスを選択し、次回のバッチとして使用する。
• パープレキシティはバッチ単位で計算され、インスタンスの難易度の代理指標として用いられ、最終実験では正規化は適用しない。
• ニューラルネットワークを変更せず、あらゆるNMTフレームワークやトレーニング設定と互換性を持つ。
• トレーニングポリシーは時間経過とともにデータを再重み付けし、難易度の高い例に注力しながら、簡単な例への依存を減らす。
• 本手法はデータブースティングの形で適用され、各エポックで最も困難な例のサブセットのみでモデルをトレーニングする。
• 標準的なBLEUスコアとトレーニング時間のメトリクスを用いて、ベースライン、ブースティング、リダクション、ブートストラップの各トレーニングポリシーを評価する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスの難易度に基づいてトレーニングデータを再重み付けすることで、NMTの性能向上とトレーニング時間の短縮が可能か？
• RQ2 高パープレキシティ（難易度の高い）例に注力することで、収束が速くなり、一般化性能が向上するか？
• RQ3 トレーニングサブセットのサイズ（例：80% 対 100%）が翻訳品質とトレーニング効率に与える影響は？
• RQ4 異なるトレーニングエポックや初期化シードにおいて、性能向上が安定しているか？
• RQ5 この手法は、アーキテクチャの変更なしに、さまざまなNMTアーキテクチャやトレーニングフレームワークに普遍的に適用可能か？

主な発見

• 提案手法は、ベースラインシステムに対して1.63 BLEUポイントの向上を達成し、トレーニングデータ使用量を20%削減した。
• 「リダクション」ポリシー（各エポックで最も困難な80%の例のみを使用）は、ベースラインおよび他のポリシーと比較して、精度と効率の両面で優れた性能を示した。
• 収束が速く、ピーク性能に到達するまでのエポック数がベースラインの16エポックに対し14エポックで達成されたため、トレーニングの安定性が向上した。
• 「ブースト」ポリシー（10%の追加データを追加）は、BLEUスコアを1.49ポイント向上させ、データ量のわずかな増加で一貫した向上を示した。
• 「ブートストラップ」ポリシー（動的選択を伴うフルデータセットの再利用）は、0.87 BLEUの向上を達成し、時間経過に伴って安定した性能を維持した。
• 全4つのトレーニングポリシーから得た最良のモデルをアンサンブル化することで、さらに0.92 BLEUの向上が得られ、最終スコアは55.04に達した。