[論文レビュー] Unbounded cache model for online language modeling with open vocabulary

Édouard Grave, Moustapha Cissé+1 more|arXiv (Cornell University)|Nov 7, 2017

Topic Modeling参考文献 51被引用数 11

ひとこと要約

本稿では、過去の隠れ表現の非パrametricなメモリを用いて、新しいデータ分布に動的に適応する非パrametricなメモリを備えた無限大のキャッシュモデルを提案する。近似的な最近傍探索と量子化を活用することで、数百万件の保存済み表現から関連するコンテキストを効率的に取得でき、静的モデルと比較して、ドメイン外設定において最大69.7％の perplexity の低減を実現する。

ABSTRACT

Recently, continuous cache models were proposed as extensions to recurrent neural network language models, to adapt their predictions to local changes in the data distribution. These models only capture the local context, of up to a few thousands tokens. In this paper, we propose an extension of continuous cache models, which can scale to larger contexts. In particular, we use a large scale non-parametric memory component that stores all the hidden activations seen in the past. We leverage recent advances in approximate nearest neighbor search and quantization algorithms to store millions of representations while searching them efficiently. We conduct extensive experiments showing that our approach significantly improves the perplexity of pre-trained language models on new distributions, and can scale efficiently to much larger contexts than previously proposed local cache models.

研究の動機と目的

• 微調整なしに、急速に変化するか、ドメイン外のデータ分布に事前学習済み言語モデルを適応させる課題に対処すること。
• 数千年トークン程度の小さなコンテキスト窓に制限されるローカルキャッシュモデルの限界を克服すること。
• 数百万件の過去の隠れ表現を保存・取得する非パrametricなメモリシステムを用いて、効率的かつスケーラブルな適応を可能にすること。
• 元の事前学習済み分布との一貫性を保ちつつ、新しいまたはレアな分布におけるパフォーマンスを向上させること。

提案手法

• 言語モデルが生成した過去のすべての隠れ表現を、動的取得が可能な非パrametricなメモリコンponentに保存する。
• 量子化（IFVPQ）を用いた近似的な最近傍（ANN）探索により、大規模メモリからの関連表現を効率的に取得する。
• 取得した表現とパラメトリックモデルの予測値を統合し、動的で文脈に適応した確率分布を生成する。
• 微調整なしに再帰的ニューラルネットワーク言語モデルにキャッシュ機構を統合し、リアルタイムでの適応を可能にする。
• クエリ表現と保存済み活性化値との類似性を活用して、意味的に関連する過去のシーケンスを取得し、次トークン予測を改善する。
• 最適化されたANNインデキシングと量子化を活用することで、数百万件の保存表現を処理しつつ、低遅延を維持する。

実験結果

リサーチクエスチョン

• RQ1 過去の隠れ状態の非パrametricなメモリが、ドメイン外または急速に変化するデータ分布における事前学習済み言語モデルのパフォーマンスを顕著に向上させることができるか？
• RQ2 多様なデータドメインにおいて、無限キャッシュモデルの perplexity は、ローカルキャッシュモデルおよび静的モデルと比較してどの程度優れているか？
• RQ3 最近傍数の増加およびキャッシュサイズの拡大が、モデルのパフォーマンスと推論効率に与える影響は何か？
• RQ4 量子化を伴う近似的な最近傍探索が、正確性を損なわず、大規模メモリからのスケーラブルでリアルタイムの取得を可能にするか？

主な発見

• ニュースドメインから書籍ドメイン（顕著に異なる分布）への適応において、無限キャッシュモデルは平均して perplexity を69.7％低減した。
• ドメインが大きく異なる適応タスク（例：ニュースからウィキ）において、無限キャッシュモデルは静的モデル比で79.7％の相対的改善を達成し、ユニグラムベースライン比では51.6％の改善を示した。
• 近ドメイン適応（例：ニュース2007年から2008年〜2011年）において、無限キャッシュモデルは静的モデル比で20.44％の perplexity の低減を達成したが、ユニグラムおよびローカルキャッシュモデルはほとんど利益を得られなかった。
• ドメイン内テストデータ（ニュース2007年）において、静的モデルと比較して24.6％の perplexity の低減を達成し、非線形的取得による識別性能の向上を示した。
• 最近傍数の増加に伴いパフォーマンスが向上し、線形計算量のため1,000近傍が速度と正確性の間で良好なトレードオフを提供した。
• テストセットが拡大するにつれて、希少語の高品質な表現の蓄積により、キャッシュは継続的にパフォーマンスを向上させた。