[論文レビュー] A Survey of Large Language Models Attribution

Dongfang Li, Zetian Sun+6 more|arXiv (Cornell University)|Nov 7, 2023

Topic Modeling被引用数 5

ひとこと要約

本サーベイは、大規模言語モデル（LLMs）における帰属づけメカニズムについて包括的な分析を提供し、出典元（事前学習データ、モデル外の知識）や評価手法、帰属づけアプローチ（直接生成、後続取得、後生成技術など）を分類している。低再現率、幻覚現象、バイアスといった主な課題を特定し、事実の整合性と検証可能性を向上させるための分類法を提案している。

ABSTRACT

Open-domain generative systems have gained significant attention in the field of conversational AI (e.g., generative search engines). This paper presents a comprehensive review of the attribution mechanisms employed by these systems, particularly large language models. Though attribution or citation improve the factuality and verifiability, issues like ambiguous knowledge reservoirs, inherent biases, and the drawbacks of excessive attribution can hinder the effectiveness of these systems. The aim of this survey is to provide valuable insights for researchers, aiding in the refinement of attribution methodologies to enhance the reliability and veracity of responses generated by open-domain generative systems. We believe that this field is still in its early stages; hence, we maintain a repository to keep track of ongoing studies at https://github.com/HITsz-TMG/awesome-llm-attributions.

研究の動機と目的

• オープンドメインLLMにおける幻覚現象の持続的問題を、出典の帰属づけによる事実の整合性の向上によって解決すること。
• 事前学習データや外部知識を含む、帰属づけの出典を体系的に分類し、情報の出典を明確にすること。
• 直接生成、後続取得、後生成、および専用システムを含む、既存の帰属づけ技術を、情報抽出および推論タスクの両方で評価すること。
• 低再現率、曖昧な出典、モデルバイアスといった、信頼できる帰属づけを阻害する主な課題を同定すること。
• 統一された分類法を提供し、公開のGitHubリポジトリを維持して、LLM帰属づけ分野における継続的な研究を支援すること。

提案手法

• 帰属づけの出典を事前学習データ（例：ORCA, ROOTS）とモデル外の知識（例：リtrieval増強型、Retro, FiD）に分類する。
• 帰属づけアプローチを4種類に分類する：直接生成帰属づけ（例：RECITE, IFL）、後続取得による回答（例：SearChain, Self-RAG）、後生成帰属づけ（例：RARR, SAPLMA）、および専用帰属づけシステム（例：WebGPT, GopherCite）。
• 評価指標を主なパフォーマンス次元にマッピングする：検証可能性（例：FActScore, AttrScore）、忠実度（例：XOR-AttriQA）、信頼性（例：WICE, Auto-AIS）。
• 解釈可能性の原則を統合し、帰属づけとモデルの透明性を結びつける。トレーサビリティとユーザーの信頼を強調する。
• 階層的分類法（図2）を用いて帰属づけの全体像を構造化し、体系的な比較と研究のナビゲーションを可能にする。
• 進化を続ける手法やデータセットを追跡するため、公開のGitHubリポジトリ（https://github.com/HITsz-TMG/awesome-llm-attributions）を維持する。

実験結果

リサーチクエスチョン

• RQ1 直接生成、後続取得、後生成といった異なる帰属づけメカニズムは、再現率、適合率、検証可能性の観点でどのように比較されるか？
• RQ2 LLMが使用する主な情報出典は何か。また、それらは帰属づけの信頼性にどのように影響を与えるか？
• RQ3 既存の評価ベンチマーク（例：CiteBench, ALCE, HAGRID）は、事実の整合性と出典の追跡可能性をどの程度正確に測定しているか？
• RQ4 帰属づけ技術は、モデルの整合性と応答品質を損なわずに幻覚現象をどのように軽減するか？
• RQ5 実世界のLLM応用において、高再現率・低バイアスの帰属づけを達成するにあたり、主な課題は何か？

主な発見

• 帰属づけは、主張の出典を追跡可能にすることで、LLM出力の検証可能性と信頼性を著しく向上させ、検証不能な生成に依存するのを減らす。
• RARR や SAPLMA といった後生成帰属づけ手法は、生成後に幻覚的主張を特定・是正する点で有望であるが、再現率の面で一貫性に欠ける。
• FActScore や AttrScore といった評価ベンチマークは、現在のモデルが関連する出典を引用できないことが示されており、複雑な事実のQAタスクでは平均 FActScore が 0.6 未満であることが判明した。
• IFL や RECITE といった直接帰属づけ手法は高い適合率を達成するが、分布外または希少な事実に対しては再現率が著しく低い。
• リtrieval増強型アプローチ（例：Self-RAG, LLatrieval）は、出力に取得した文書を根拠として用いることで、事実の整合性を向上させるが、リtrievalの質に強く依存する。
• 本サーベイは、高再現率の帰属づけにおける深刻なギャップを特定した。多くの手法が関連するすべての出典を引用できず、特にマルチホップや複雑な推論タスクでは、不完全または誤解を招く追跡可能性を生じさせる。