[論文レビュー] Decoupled Context Processing for Context Augmented Language Modeling

Zonglin Li, Ruiqi Guo+1 more|arXiv (Cornell University)|Oct 11, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文では、事前エンコーディングとキャッシュを用いることで、推論を効率化する文脈拡張言語モデルの分離型エンコーダデコーダアーキテクチャを提案する。モデルは自己回帰的言語モデルとドメインフリー質問応答の両方で競争力ある性能を示し、事前エンコーディングと検索ベースのリtrievalにより、文脈の根拠ある転送と計算コストの低減を実現する。

ABSTRACT

Language models can be augmented with a context retriever to incorporate knowledge from large external databases. By leveraging retrieved context, the neural network does not have to memorize the massive amount of world knowledge within its internal parameters, leading to better parameter efficiency, interpretability and modularity. In this paper we examined a simple yet effective architecture for incorporating external context into language models based on decoupled Encoder Decoder architecture. We showed that such a simple architecture achieves competitive results on auto-regressive language modeling and open domain question answering tasks. We also analyzed the behavior of the proposed model which performs grounded context transfer. Finally we discussed the computational implications of such retrieval augmented models.

研究の動機と目的

• 外部文脈を言語モデルに統合するための計算効率の良いアーキテクチャを設計すること。具体的には、文脈エンコーディングをシーケンス生成プロセスから分離すること。
• 内部の世界知識の記憶に依存する必要を減らすことで、パラメータ効率、解釈可能性、モularityを向上させること。
• 取得した文脈が予測にどのように寄与するか、特に内容語の予測において、根拠に基づいた文脈転送がどのように改善されるかを分析すること。
• リtrieval拡張モデルの計算的トレードオフ（遅延、メモリ、エネルギー効率）を評価すること。
• 取得した文脈の有用性を測る指標を用いて、リtrieverの訓練をガイドすること。

提案手法

• モデルは標準のエンコーダデコーダトランスフォーマー構造を採用し、エンコーダが事前に取得された文脈パラグラフを処理してエンコードする。
• 文脈エンコーディングはキャッシュされ、推論時に高速な検索が可能となり、エンコーディングステップが自己回帰的生成プロセスから分離される。
• デコーダは入力シーケンスと取得した文脈の両方にクロスアテンションを用い、両者に条件付けられた出力シーケンスを生成する。
• リtrieverは、密度ベクトル埋め込み（例：DPR）を用いてベクトルデータベースを検索し、近似最近傍探索（例：ScaNN）により関連する文脈パラグラフを取得する。
• デコーダが取得した文脈に基づいて出力を生成するよう損失関数を最適化し、アブレーションと分析により検証される。
• リtrievalの品質は、取得した文脈が予測精度をどれほど向上させるかを評価する有用性指標によってガイドされる。

実験結果

リサーチクエスチョン

• RQ1 複雑なアテンション機構を用いずに、単純な分離型エンコーダデコーダアーキテクチャが、文脈拡張言語モデルにおいて競争力ある性能を達成できるか？
• RQ2 モデルが回答を生成する際に、内部記憶に依存するのではなく、取得した文脈にどれほど依存しているか？
• RQ3 元の出力が含まれる主要な文脈パラグラフを削除した場合、モデルの挙動はどのように変化するか？
• RQ4 事前に計算してキャッシュした文脈エンコーディングの利点は、遅延、メモリ、エネルギーの観点でどの程度の計算的トレードオフをもたらすか？
• RQ5 文脈拡張は、特に内容語に対して、予測性能をどのように向上させるか？

主な発見

• 分離型アーキテクチャは、C4言語モデルとNatural Questions質問応答の両タスクで競争力ある結果を達成し、より複雑なベースライン（例：Chunked-Cross-Attention）と同等またはそれを上回るbits-per-byte（BPB）性能を示した。
• 76%のモデル出力が、元の出力を含む文脈パラグラフを削除したことで変化したが、新たな出力は残存する文脈に基づいていたため、強い文脈依存性が示された。
• 根拠に基づいた文脈転送により生成された出力の正答率は51.5%であったのに対し、非根拠的出力では35.4%にとどまり、有意に高い性能を示した。
• 20個の文脈パラグラフから検索して生成するエンドツーエンドの推論遅延は約66msであり、そのうち80%がリtrievalとエンコーディングに費やされ、エンコーダの処理時間の約1/3にまで短縮された。
• 事前に計算された文脈エンコーディングにより、高速な検索が可能となり、推論コストが削減された。NVMe SSDからのエンコーディング読み込みは1回あたり1.5ms、ネットワーク伝送時間は0.8msであった。
• 本手法により、エネルギーおよびハードウェアコストの大幅な削減が可能となり、ほとんどの計算（クエリエンコーディングを除く）がアクセラレータではなく、一般用途のCPUとストレージで実行された。