[論文レビュー] CLAM: Selective Clarification for Ambiguous Questions with Generative Language Models

Lorenz Kuhn, Yarin Gal+1 more|arXiv (Cornell University)|Dec 15, 2022

Topic Modeling被引用数 7

ひとこと要約

CLAM は、大規模言語モデル（LLM）が曖昧な質問を検出でき、回答の前に明確化の質問を意図的に生成するための few-shot プロンプティングフレームワークである。曖昧な質問に対する正確性を著しく向上させる一方で、曖昧でない質問への性能に影響を与えることなく、メタ認知を LLM に導入し、特権情報を持つオラクル言語モデルを用いた自動評価を可能にする。

ABSTRACT

Users often ask dialogue systems ambiguous questions that require clarification. We show that current language models rarely ask users to clarify ambiguous questions and instead provide incorrect answers. To address this, we introduce CLAM: a framework for getting language models to selectively ask for clarification about ambiguous user questions. In particular, we show that we can prompt language models to detect whether a given question is ambiguous, generate an appropriate clarifying question to ask the user, and give a final answer after receiving clarification. We also show that we can simulate users by providing language models with privileged information. This lets us automatically evaluate multi-turn clarification dialogues. Finally, CLAM significantly improves language models' accuracy on mixed ambiguous and unambiguous questions relative to SotA.

研究の動機と目的

• 大規模言語モデル（LLM）が曖昧な質問に対して、明確化を求めずに答えを生成してしまう（ホールーシング）問題に対処すること。
• 質問が本質的に曖昧である場合にのみ、LLM が明確化の質問を意図的に生成できるフレームワークを開発すること。
• LLM が自分の不確実性について考えるメタ認知的アプローチを導入し、回答の前に自身の不確実性を推論すること。
• 特権情報を持つオラクル言語モデルを用いて、スケーラブルかつ自動的な多段階明確化対話の評価を可能にすること。
• 曖昧なクエリに対する誤った回答を減らすことで、実世界での LLM の信頼性と安全性を向上させること。

提案手法

• 文脈内例に基づいて、ユーザーの質問が曖昧かどうかを分類するための few-shot プロンプティングを用いる。
• 曖昧な入力に特化した、具体的な曖昧さを解消する明確化の質問を生成するための few-shot プロンプティングを適用する。
• 曖昧さを解消するための特権的な事実情報にアクセスできるオラクル言語モデルを用いて、ユーザーの応答をシミュレートする。
• シミュレートされたユーザーからの明確化情報を受け取った後、最終的な回答を生成するための few-shot プロンプティングを用いる。
• 多段階対話パイプラインを設計する：曖昧さ検出 → 明確化の質問生成 → 明確化後の回答生成。
• 人間のユーザーに代わってオラクルモデルが明確化対話をシミュレートし、モデルのパフォーマンスを評価する自動評価プロトコルを用いる。

実験結果

リサーチクエスチョン

• RQ1 few-shot プロンプティングは、LLM が曖昧な質問を信頼性高く検出し、明確化なしに回答を出さないのを可能にするか？
• RQ2 LLM は微調整を必要とせずに、曖昧さを解消する効果的な明確化の質問を生成できるか？
• RQ3 選択的明確化アプローチは、曖昧な質問に対する回答の正確性を向上させると同時に、曖昧でない質問のパフォーマンスを維持するか？
• RQ4 オラクル言語モデルは、多段階対話の自動評価のため、人間と似た反応を信頼性高くシミュレートできるか？
• RQ5 メタ認知（自分自身の不確実性について考える能力）は、LLM を用いた質問応答の信頼性をどの程度向上させるか？

主な発見

• CLAM は、最先端の手法と比較して、曖昧な質問に対する LLM の正確性を著しく向上させつつ、曖昧でない質問のパフォーマンスを低下させない。
• 曖昧さ検出のための few-shot プロンプティングアプローチは非常に信頼性が高く、誤検出（不要な明確化）と見逃し（曖昧さの見逃し）を最小限に抑える。
• オラクルモデルは、TriviaQA および CLAQUA II では 95% のケースで正しい明確化情報を提供し、CLAQUA I でも大多数のケースで正確な情報を提供した。
• 曖昧な質問を含むデータセットにおいて、このフレームワークは顕著なパフォーマンス向上を達成し、選択的明確化の有効性を示している。
• この手法は言語モデルの微調整を一切必要としないため、市販の LLM でも即座に導入可能である。
• 特権情報を持つオラクルモデルを用いた自動評価プロトコルにより、多段階明確化対話のスケーラブルで再現可能かつ倫理的に整合した評価が可能になった。