[論文レビュー] Vocabulary Selection Strategies for Neural Machine Translation

Gurvan L'Hostis, David Grangier+1 more|arXiv (Cornell University)|Oct 1, 2016

Natural Language Processing Techniques参考文献 24被引用数 38

ひとこと要約

本論文は、翻訳の精度を著しく損なわずに、デコード時間の90％削減および学習時間の25％削減を実現する神経機械翻訳における語彙選択戦略を提案する。語の対応、二言語埋め込み、SVM分類器などの手法を用いて、文脈に関連する小さなターゲット語彙のサブセットを選択することで、大規模な語彙に対するスコア計算を回避し、英語＝ドイツ語および英語＝ルーマニア語翻訳タスクにおいて準最先端の性能を達成している。

ABSTRACT

Classical translation models constrain the space of possible outputs by selecting a subset of translation rules based on the input sentence. Recent work on improving the efficiency of neural translation models adopted a similar strategy by restricting the output vocabulary to a subset of likely candidates given the source. In this paper we experiment with context and embedding-based selection methods and extend previous work by examining speed and accuracy trade-offs in more detail. We show that decoding time on CPUs can be reduced by up to 90% and training time by 25% on the WMT15 English-German and WMT16 English-Romanian tasks at the same or only negligible change in accuracy. This brings the time to decode with a state of the art neural translation system to just over 140 msec per sentence on a single CPU core for English-German.

研究の動機と目的

• デコード中にターゲット語彙のサイズを小さくすることで、神経機械翻訳システムの推論効率を向上させること。
• 語彙選択技術が、計算コストを著しく削減しながらも翻訳精度を維持または向上させられるかどうかを調査すること。
• 異なる言語対およびモデルアーキテクチャにおいて、語彙選択がデコードおよび学習の効率に与える影響を評価すること。
• スピードと精度のトレードオフの観点から、文脈に配慮した選択手法が、単純な頻度ベースやアライメントベースのアプローチを上回るかどうかを検証すること。
• 動的に選択された縮小語彙で学習することで、一般化性能や収束性が向上するかどうかを調査すること。

提案手法

• 語彙選択は、二言語対訳語彙の共起度数を用いて、入力文に関連する小さなターゲット語彙サブセットを特定することで実施される。
• 共起度行列を用いてヘリンジャーPCAを適用し、二言語語彙埋め込みを学習することで、希少語ペairの耐性を高める。
• 統計的フレーズベース翻訳モデルからの語のアライメントを用いて、P(t|s)を推定し、高いアライメント確率を持つターゲット語を選択する。
• 従来のフレーズテーブルからのフレーズペアを用いて、局所的なフレーズレベルの文脈に基づき候補翻訳を同定する。
• 全ソース文から抽出した特徴量を用いて、判別的SVM分類器を学習し、有望なターゲット語を予測する。
• 選択された語彙はデコードおよび学習の両方で使用され、モデルは候補語のみをスコア化することで計算負荷を低減する。

実験結果

リサーチクエスチョン

• RQ1 語彙選択技術により、NMTにおけるデコード時間を90％まで短縮でき、精度の低下は最小限に抑えられるか？
• RQ2 語のアライメント、埋め込み、SVMなどの異なる選択戦略は、スピードと精度の観点でどのように比較できるか？
• RQ3 文に特化した縮小語彙で学習することで、モデルの一般化性能や収束性が向上するか？
• RQ4 語彙サイズが推論および学習効率に与える影響、特に高速なエンコーダー・アーキテクチャを用いた場合にどうなるか？
• RQ5 小さな選択語彙（例：1文あたり約600語）で、ゴールスタンダード翻訳の99％以上の語を回復できるか？

主な発見

• 英語＝ドイツ語翻訳において、1コアCPU上でのデコード速度は1文あたり140ms台にまで短縮され、全語彙デコードと比較して90％の高速化が達成された。
• 語のアライメントのみで十分に高い精度が達成され、1文あたり約600語の語彙で、ゴールスタンダード翻訳の99％以上の語を回復できた。
• 語のアライメントに基づく語彙選択を用いた場合、GPU上での学習速度が最大33％（1.33倍の高速化）向上し、バリデーションBLEUスコアの著しい低下は認められなかった。
• 平均プーリングエンコーダーをbi-LSTMに代えて使用した場合、語彙選択による学習速度向上は66％（1.66倍）にまで上昇し、エンコーダーの効率が主なボトルネックであることが示された。
• 語彙選択と小さな語彙サイズ（例：バッチあたり6,000語）の組み合わせにより、平均プーリングエンコーダーを用いた場合、1エポックあたりの学習時間が40％短縮されたが、BLEUスコアはbi-LSTMの22.5から18.5に低下した。
• 学習時に最も頻出する2,000語を追加しても精度が向上しなかったため、頻度ベースの追加よりも文脈に配慮した選択がより効果的であることが示された。