[論文レビュー] Reliable, Adaptable, and Attributable Language Models with Retrieval

Akari Asai, Zexuan Zhong+5 more|arXiv (Cornell University)|Mar 5, 2024

Topic Modeling被引用数 5

ひとこと要約

本論は、パラメトリック言語モデルを置換するための検索補助付き言語モデルの採用を提唱し、信頼性・適応性・帰属性といった利点、そしてアーキテクチャ・訓練・インフラの進展を通じた導入障壁の克服に向けたロードマップを概説する。

ABSTRACT

Parametric language models (LMs), which are trained on vast amounts of web data, exhibit remarkable flexibility and capability. However, they still face practical challenges such as hallucinations, difficulty in adapting to new data distributions, and a lack of verifiability. In this position paper, we advocate for retrieval-augmented LMs to replace parametric LMs as the next generation of LMs. By incorporating large-scale datastores during inference, retrieval-augmented LMs can be more reliable, adaptable, and attributable. Despite their potential, retrieval-augmented LMs have yet to be widely adopted due to several obstacles: specifically, current retrieval-augmented LMs struggle to leverage helpful text beyond knowledge-intensive tasks such as question answering, have limited interaction between retrieval and LM components, and lack the infrastructure for scaling. To address these, we propose a roadmap for developing general-purpose retrieval-augmented LMs. This involves a reconsideration of datastores and retrievers, the exploration of pipelines with improved retriever-LM interaction, and significant investment in infrastructure for efficient training and inference.

研究の動機と目的

• 幻覚、検証可能性、適応性に対処するため、パラメトリックLMから検索補助LMへの移行を促す。
• 誤りの低減とより良い帰属を実現する検索補助LMの強みを特徴づける。
• 採用障壁を特定し、アーキテクチャ・訓練・インフラ全体のロードマップを提案する。
• データストアとリトリーバーを、より幅広いタスク適用性を支えるように再設計する方法を論じる。

提案手法

• 推論時に外部データストアを使用する2要素システム（リトリーバーとLM）として検索補助LMを定義する。
• アーキテクチャの分類（入力拡張、中間融合、出力補間）と、取得したテキストの組み込み・取得方法の分類を提供する。
• 訓練パラダイム（独立/逐次訓練対結合訓練）と、データストア管理・インデックス作成の実践的考慮事項を議論する。
• リトリーブを使用する際の事実誤りの減少、帰属の改善、適応性の向上を示す先行研究の実証的知見を概説する。
• 関連性とデータストアの再設計、リトリーバー-LMの相互作用の強化、スケーラブルなインフラ構築の3つの重点領域を含むロードマップを提案する。

Figure 1: Parametric LMs (top) internalize large-scale text data in their parameters via massive pre-training, while retrieval-augmented LMs (bottom) incorporate text retrieved from a massive datastore at test time.

実験結果

リサーチクエスチョン

• RQ1 知識集約的タスクを超えて役立つ取得テキストとは何か、より広いタスクを支援するためにデータストアはどのように設計されるべきか。
• RQ2 リトリーバーとLMの間でより深い相互作用を促進し、表面的なプロンプトの限界を克服するにはどうすればよいか。
• RQ3 検索補助LMを効果的にスケールさせるために必要なインフラと訓練戦略は何か。
• RQ4 データストア設計と取得戦略は、分野を横断した帰属と適応性をどのように改善できるか。

主な発見

• 取得補助LMは、記憶済みパラメータの代わりに外部テキストを活用することで事実誤りを減らし、事実性を向上させる。
• 推論中に取得された証拠は、事後説明と比較してより良い帰属を可能にする。
• これらのモデルは、取得テキストの選択（有効/無効）に柔軟性を提供し、データストアの更新を通じて新しいデータ分布へ容易に適応できる。
• データストア設計と取得戦略はドメインカスタマイズを可能にし、特定の知識タスクではドメイン特化のファインチューニングを上回ることがある。
• パラメータ効率は、メモリをデータストアへオフロードすることで実現でき、より小さなLMがより大きなパラメトリックモデルと競争できるようになる。

Figure 2: Taxonomy of architectures of retrieval-augmented LMs.