[論文レビュー] Efficient Nearest Neighbor Language Models

Junxian He, Graham Neubig+1 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、k近傍法言語モデル（kNN-LM）の推論速度を向上させるための技術スタジオを提案する。具体的には、適応的リトリーブ、データストアの削除、主成分分析（PCA）による次元削減を実装する。これらの手法を統合することで、元のkNN-LMと同等またはわずかに向上したパープレキシティを維持しながら、WikiText-103で最大6.6倍、Law-MTで最大5.4倍の高速化を達成した。これにより、非パrametric言語モデルの実世界への適用がより現実的になった。

ABSTRACT

Non-parametric neural language models (NLMs) learn predictive distributions of text utilizing an external datastore, which allows them to learn through explicitly memorizing the training datapoints. While effective, these models often require retrieval from a large datastore at test time, significantly increasing the inference overhead and thus limiting the deployment of non-parametric NLMs in practical applications. In this paper, we take the recently proposed $k$-nearest neighbors language model (Khandelwal et al., 2020) as an example, exploring methods to improve its efficiency along various dimensions. Experiments on the standard WikiText-103 benchmark and domain-adaptation datasets show that our methods are able to achieve up to a 6x speed-up in inference speed while retaining comparable performance. The empirical analysis we present may provide guidelines for future research seeking to develop or deploy more efficient non-parametric NLMs.

研究の動機と目的

• 大規模な外部データストアからの高コストなリトリーブに起因する非パrametric言語モデルの推論コストの低減。
• パフォーマンスを損なわずkNN-LMの効率を向上させ、実用的NLP応用への広範な展開を可能にすること。
• リトリーブを意図的に省略可能かどうか、重複するデータストアエントリを削除可能かどうか、またはベクトル次元を低減可能かどうかを検討し、速度向上を図ること。
• 非パrametric言語モデルにおける速度とパフォーマンスのバランスをとるための実証的ガイドラインの提供。

提案手法

• 各トークンに対してリトリーブが必要かどうかを予測する軽量なニューラルネットワークを用いた適応的リトリーブ機構を導入。これにより、リトリーブ呼び出しを最大50%削減可能。
• グリーディマージングと重要度に基づくフィルタリングを適用し、データストアエントリの40%まで削除可能でありながら、モデル性能を維持。
• PCAを用いた次元削減により、データストア内のベクトル表現を圧縮。これにより、速度とパープレキシティの両方が向上。
• 適応的リトリーブ、データストアの削除、次元削減を統合した最適化パイプラインを構築し、最大の効率を実現。
• 過学習を避けるために、リトリーブアダプタをホールドアウトされた検証セットで訓練。一般化性能を確保。
• FAISSのPCA実装を活用し、ランダム回転を組み合わせることで、ベクトル検索における量子化効率とパフォーマンスを向上。

実験結果

リサーチクエスチョン

• RQ1 特定のトークンに対してリトリーブを知的に省略することで、推論オーバーヘッドを低減できるか、パフォーマンスに悪影響を及げないか？
• RQ2 重複するか重要度の低いエントリを削除することで、データストアをどの程度圧縮可能か、モデル精度に悪影響を及げないか？
• RQ3 データストアベクトルの次元を低減することで、速度とパフォーマンスの両方が向上するか？もしそうなら、その理由は何か？
• RQ4 速度向上を最大化しつつパープレキシティを維持する最適な効率化手法の組み合わせは何か？

主な発見

• 適応的リトリーブにより、WikiText-103で最大1.9倍の高速化が達成され、パープレキシティは0.02ポイント上昇。リトリーブ呼び出しは50%削減。
• グリーディマージングによる削除により、データストアが40%削減され、パープレキシティは0.2ポイント上昇。冗長性の効果的除去を示した。
• PCAによる次元削減で512次元に圧縮したところ、パープレキシティが0.25ポイント改善（16.65 → 16.40）し、WikiText-103で3.6倍の高速化を達成。
• 3つの技術を統合した結果、WikiText-103で6.6倍の高速化が達成され、ベースラインkNN-LMとほぼ同等のパープレキシティ（16.67 vs. 16.65）を維持。
• Law-MTドメイン適応データセットでは、統合手法により5.4倍の高速化と、ベースラインkNN-LMより0.35ポイントのパープレキシティ改善を達成。
• PCAは推論速度の向上に加え、Law-MTでもパープレキシティを改善（12.64 → 11.59）しており、L2ベースのkNN検索に適したベクトル空間が得られている可能性を示唆。