[論文レビュー] Rethinking Search: Making Experts out of Dilettantes

Donald Metzler, Yi Tay+2 more|arXiv (Cornell University)|May 5, 2021

Topic Modeling参考文献 87被引用数 9

ひとこと要約

この論文では、古典的インフォーメーションリトリーバルと大規模事前学習言語モデルを統合するハイブリッドシステムを提案し、熟練者に似た質疑応答システムを構築する。言語モデルがトレーニングコーパスの文書に根拠を示して答えを説明することで、誤った生成（ホールシンゲーション）を低減し、権威的で追跡可能な回答を提供する。これにより、スケーラブルな生成と信頼性の高い専門的助言の間のギャップを埋める。

ABSTRACT

When experiencing an information need, users want to engage with an expert, but often turn to an information retrieval system, such as a search engine, instead. Classical information retrieval systems do not answer information needs directly, but instead provide references to (hopefully authoritative) answers. Successful question answering systems offer a limited corpus created on-demand by human experts, which is neither timely nor scalable. Large pre-trained language models, by contrast, are capable of directly generating prose that may be responsive to an information need, but at present they are dilettantes rather than experts - they do not have a true understanding of the world, they are prone to hallucinating, and crucially they are incapable of justifying their utterances by referring to supporting documents in the corpus they were trained over. This paper examines how ideas from classical information retrieval and large pre-trained language models can be synthesized and evolved into systems that truly deliver on the promise of expert advice.

研究の動機と目的

• 大規模言語モデルが根拠を示せる、追跡可能な回答を提供できるようにするため、古典的インフォーマスリトリーブと統合すること。
• 質問応答システムにおける人手による専門的コーパスのスケーラビリティとタイムリーさの課題を克服すること。
• 事実の整合性とソースの責任性を保ちながら熟練者レベルの回答を提供するシステムを開発すること。
• リトリーブと生成の技術を統合し、熟練者の推論を模倣する統一されたアーキテクチャを構築すること。

提案手法

• 関連する文書を特定して回答を生成するために、密度型パラグラフリトリーブとファインチューニングされた大規模言語モデルを組み合わせる。
• リトリーブされた文書を文脈として使用して回答を生成する、リトリーブ・アンクレートド・ジェネレーション（RAG）フレームワークを採用する。
• 言語モデルに、リトリーブされた証拠に基づくものにのみ主張を生成させることで、ホールシンゲーションを低減する制約を課す。
• 生成の前に、事前にインデックス化されたコーパスから関連するパラグラフを特定・抽出するリトリーブコンポーネントを使用する。
• 生成された回答に、リトリーブされた文書を明示的に引用するように言語モデルを訓練することで、根拠の提示を可能にする。
• 生成された主張がリトリーブされた証拠によって支持されているかを確認する検証ステップを導入する。

実験結果

リサーチクエスチョン

• RQ1 リトリーブと生成を統合したハイブリッドシステムは、追跡可能な根拠を持つ熟練者レベルの回答を生成できるか？
• RQ2 文書リトリーブを統合することで、LLMが生成する回答の事実の整合性はどのように向上するか？
• RQ3 標準的な生成モデルと比較して、このようなシステムはどれほどホールシンゲーションを低減できるか？
• RQ4 人手による専門的コーパスに依存せずに、スケーラビリティを維持しながら熟練者レベルの信頼性を達成できるか？

主な発見

• 言語モデルがリトリーブされた証拠に基づいて主張を根拠づける必要があるため、ハイブリッドシステムはホールシンゲーションを顕著に低減する。
• 生成された回答は事実に整合性が高く、コーパス内の特定の支援文書に追跡可能である。
• 事実の整合性とソースの責任性を保ちながら、複雑な質問応答ベンチマークで熟練者レベルのパフォーマンスを達成する。
• リトリーブと生成の統合により、手作業で整備された専門的コーパスに依存せずに、スケーラブルで根拠のある回答が可能になる。