[論文レビュー] Faster Nearest Neighbor Machine Translation

Shuhe Wang, Jiwei Li+6 more|arXiv (Cornell University)|Dec 15, 2021

Natural Language Processing Techniques被引用数 9

ひとこと要約

本稿では、階層的クラスタリングに基づく手法であるFaster $k$ NN-MTを提案する。この手法は、クラスターセンタロイドを用いて距離を近似することで、神経機械翻訳における最近傍探索の速度を向上させ、標準モデルと比較してわずか1.2倍の遅延に抑える一方で、最先端の性能を維持する。本手法は、検索をクラスターセンターや事前計算されたクラスタ内距離に制限することで、検索を著しく高速化し、実世界のシステムにおける$k$ NN-MTの実用的導入を可能にする。

ABSTRACT

$k$NN based neural machine translation ($k$NN-MT) has achieved state-of-the-art results in a variety of MT tasks. One significant shortcoming of $k$NN-MT lies in its inefficiency in identifying the $k$ nearest neighbors of the query representation from the entire datastore, which is prohibitively time-intensive when the datastore size is large. In this work, we propose extbf{Faster $k$NN-MT} to address this issue. The core idea of Faster $k$NN-MT is to use a hierarchical clustering strategy to approximate the distance between the query and a data point in the datastore, which is decomposed into two parts: the distance between the query and the center of the cluster that the data point belongs to, and the distance between the data point and the cluster center. We propose practical ways to compute these two parts in a significantly faster manner. Through extensive experiments on different MT benchmarks, we show that extbf{Faster $k$NN-MT} is faster than Fast $k$NN-MT \citep{meng2021fast} and only slightly (1.2 times) slower than its vanilla counterpart while preserving model performance as $k$NN-MT. Faster $k$NN-MT enables the deployment of $k$NN-MT models on real-world MT services.

研究の動機と目的

• 推論時に大規模なデータストアから最近傍を検索する際の$k$ NN-MTの非効率性に対処すること。
• 高頻度語彙に対して大規模なトークン固有データストアを有する場合に依然として遅いFast $k$ NN-MTの限界を克服すること。
• $k$ NN-MTにおける時間的・メモリ的オーバーヘッドを低減しつつ、高い翻訳性能を維持すること。
• 推論速度とスケーラビリティを向上させることで、実世界の機械翻訳サービスにおける$k$ NN-MTの実用的導入を可能にすること。

提案手法

• データストアをクラスタに分割するための階層的クラスタリングを適用し、各クラスタをそのセンタロイドで表現する。
• クエリとデータポイント間の距離を、(1) クエリからクラスターセンタロイドまでの距離、および (2) データポイントからそのクラスターセンタロイドまでの距離の合計として近似する。
• 事前計算およびキャッシュされたクラスタ内距離（すべてのデータポイントとその対応クラスターセンタロイド間）を用いて検索を高速化する。
• 推論時に検索空間を最も近いクラスターセンタロイドに限定することで、距離計算の回数を削減する。
• ソース側およびターゲット側の両方で、より小さなクラスタベースのデータストアを構築し、メモリ使用量の削減とバッチ推論効率の向上を図る。
• 取得した近傍の確率を温度スケーリング付きソフトマックスで集約し、元の$k$ NN-MTの確率キャリブレーションを維持する。

実験結果

リサーチクエスチョン

• RQ1 階層的クラスタリングを用いることで、性能の著しい低下を伴わずに$k$ NN-MTにおける$k$-最近傍探索を効率的に近似できるか？
• RQ2 提案手法のクラスタリングベースのアプローチは、Fast $k$ NN-MTと比較して推論速度とメモリ使用量においてどのように異なるか？
• RQ3 クラスターセンタロイドを用いることで、どの程度検索空間を縮小できるか、翻訳品質は保持できるか？
• RQ4 長文入力および高頻度トークンを伴う大規模な実世界の機械翻訳システムへ、本手法はスケーラブルに適用可能か？

主な発見

• Faster $k$ NN-MTは、標準の神経機械翻訳モデルと比較してわずか1.2倍の遅延に抑えられる一方、Fast $k$ NN-MTは2倍の遅延を示す。
• 本手法は時間的・空間的計算量を顕著に低減し、より大きなバッチサイズを可能にし、推論時のさらなる高速化を実現する。
• WMTおよびドメイン適応ベンチマーク（Medical, IT, Koran, Subtitles）において、Faster $k$ NN-MTはFast $k$ NN-MTおよびvanilla $k$ NN-MTと同等またはわずか0.1 BLEU点未満の劣化で性能を維持する。
• 多様なドメインにおいても強力な性能を発揮し、WMT'14ではSacreBLEUスコア52.7、WMT'16では44.9、Koranデータセットでは37.1を記録し、性能の低下は最小限に抑えられる。
• 階層的クラスタリング戦略により、データストアサイズを顕著に削減でき、$k$ NN-MTの本番環境への導入が現実可能になる。
• 本手法は、'the' や 'is' などの高頻度語に対しても、各トークンのデータストアサイズをクラスタリングによって制限することで、検索のボトルネックを回避し、効果的に処理できる。