[論文レビュー] Fast Nearest Neighbor Machine Translation

Yuxian Meng, Xiaoya Li+5 more|arXiv (Cornell University)|May 30, 2021

Natural Language Processing Techniques被引用数 14

ひとこと要約

この論文では、k-Nearest Neighbor Machine Translationの高速化を図るFast k-NN-MTを提案する。推論を高速化するため、以前に選択された参照元のソーストークンに関連するターゲットトークンのみを検索空間に制限している。同じタイプのトークン同士の近傍探索に限定し、各デコードステップでデータストアを動的に縮小することで、Fast k-NN-MTは、標準的なk-NN-MTと同等の性能を維持しながら、2桁の速度向上を達成しており、標準NMTモデルの2倍の速度で動作する。

ABSTRACT

Though nearest neighbor Machine Translation ($k$NN-MT) \citep{khandelwal2020nearest} has proved to introduce significant performance boosts over standard neural MT systems, it is prohibitively slow since it uses the entire reference corpus as the datastore for the nearest neighbor search. This means each step for each beam in the beam search has to search over the entire reference corpus. $k$NN-MT is thus two-orders slower than vanilla MT models, making it hard to be applied to real-world applications, especially online services. In this work, we propose Fast $k$NN-MT to address this issue. Fast $k$NN-MT constructs a significantly smaller datastore for the nearest neighbor search: for each word in a source sentence, Fast $k$NN-MT first selects its nearest token-level neighbors, which is limited to tokens that are the same as the query token. Then at each decoding step, in contrast to using the entire corpus as the datastore, the search space is limited to target tokens corresponding to the previously selected reference source tokens. This strategy avoids search through the whole datastore for nearest neighbors and drastically improves decoding efficiency. Without loss of performance, Fast $k$NN-MT is two-orders faster than $k$NN-MT, and is only two times slower than the standard NMT model. Fast $k$NN-MT enables the practical use of $k$NN-MT systems in real-world MT applications. The code is available at \url{https://github.com/ShannonAI/fast-knn-nmt}

研究の動機と目的

• k-NN-MTの推論遅延が、各デコードステップで全コーパスの近傍探索を実行するため、標準NMTと比較して2桁遅いため、その問題を解決すること。
• k-NN-MTの実世界のオンラインMTサービスへの実用的導入を可能にするために、翻訳品質を損なわず、デコード効率を著しく向上させること。
• ソース側の文脈に基づいて、関連する参照トークンのみを含むデータストアに制限するスケーラブルで効率的なリトリーブメカニズムを設計すること。
• 制限されたリトリーブ設定における、検索空間の大きさ、近傍数、モデル性能のトレードオフを調査すること。

提案手法

• 各ソーストークンに対して、照合されるトークンタイプ（例：同じ語形）を持つトークンレベルの近傍のみを選択して、より小さなデータストアを構築する。
• 各デコードステップで、以前に選択された参照元ソーストークンに関連するターゲットトークンに限定して近傍探索を実行し、ソースから参照例を経由してターゲットへとつながるマッピングの連鎖を形成する。
• 効率的な参照例のリトリーブのため、FastAlignを用いてソーストークンとターゲットトークンの間でクロスリンガルなアライメントを確立する。
• k-NN推論中に、以前に取得されたソース参照トークンに関連するターゲットトークンのみを検索空間に制限することで、1ステップあたりの候補数を削減する。
• 高次元のトークン表現に対して量子化を適用し、メモリ使用量を削減するが、性能への影響は最小限に抑える。
• cosine類似度を近傍探索の距離指標として採用している。これはL2距離や内積よりも優れた性能を示すため。

実験結果

リサーチクエスチョン

• RQ1 翻訳品質を劣化させることなく、k-NN-MTの推論遅延を著しく短縮できるか？
• RQ2 関連する参照ソーストークンにのみ検索空間を制限することで、モデル性能と速度にどのような影響を与えるか？
• RQ3 精度と効率のバランスを考慮した場合、1ソーストークンあたりの最適な近傍数（c）は何か？
• RQ4 ターゲット側の近傍数（k）が性能に与える影響は何か？また、限界効果が現れる点はあるか？
• RQ5 ベクトル表現の量子化が、リトリーブパイプラインにおけるモデル性能にどの程度の影響を与えるか？

主な発見

• Fast k-NN-MTは、vanilla k-NN-MTと比較して100倍の高速化を達成しており、推論時間を標準NMTモデルの2倍の速度にまで短縮した。
• WMT’19 De-Enで、Fast k-NN-MTはSacreBLEUスコア39.3を達成し、vanilla k-NN-MTと同等の性能を示した。
• WMT’14 En-Frでは、Fast k-NN-MTがSacreBLEUスコア41.7を達成し、元のk-NN-MTモデルと同等の性能を示した。
• ドメイン適応タスクにおいて、Fast k-NN-MTは平均でSacreBLEUスコア41.4を達成し、ドメインを越えた強力な一般化性能を示した。
• トークン表現の量子化による平均スコアの低下は0.1 BLEUポイントにとどまり、メモリ効率の向上との妥協として実用的であることが示された。
• 最適なソース側近傍数（c）は512であり、それ以上に増加させても性能向上は止まる。一方、ターゲット側の近傍数（k）は、最適値の周辺で明確なピークを示した。