[論文レビュー] Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs

Michael J. Q. Zhang, Eunsol Choi|arXiv (Cornell University)|Nov 16, 2023

Topic Modeling被引用数 4

ひとこと要約

本論文は、対話的明確化を通じて大規模言語モデル（LLM）の曖昧性を解消するためのタスクに依存しないフレームワークを提案する。このプロセスは3段階に分解される：（1）明確化が必要かどうかを検出すること、（2）効果的な明確化質問を生成すること、（3）ユーザーの回答に正確に対応すること。主な貢献は、意図エントロピーを用いて明確化がパフォーマンスを向上させる状況を特定する、新しい不確実性推定手法「Intent-Sim」である。この手法は、明確化を実行する入力の10％に限定しても、ベースラインを上回り、二重のパフォーマンス向上を達成する。

ABSTRACT

Resolving ambiguities through interaction is a hallmark of natural language, and modeling this behavior is a core challenge in crafting AI assistants. In this work, we study such behavior in LMs by proposing a task-agnostic framework for resolving ambiguity by asking users clarifying questions. Our framework breaks down this objective into three subtasks: (1) determining when clarification is needed, (2) determining what clarifying question to ask, and (3) responding accurately with the new information gathered through clarification. We evaluate systems across three NLP applications: question answering, machine translation and natural language inference. For the first subtask, we present a novel uncertainty estimation approach, intent-sim, that determines the utility of querying for clarification by estimating the entropy over user intents. Our method consistently outperforms existing uncertainty estimation approaches at identifying predictions that will benefit from clarification. When only allowed to ask for clarification on 10% of examples, our system is able to double the performance gains over randomly selecting examples to clarify. Furthermore, we find that intent-sim is robust, demonstrating improvements across a wide range of NLP tasks and LMs. Together, our work lays foundation for studying clarifying interactions with LMs.

研究の動機と目的

• システムがいつ明確化が必要かを検出できるように、LLMにおける対話的曖昧性解消をモデル化すること。
• ユーザーの意図の曖昧さを露わにする効果的な明確化質問を生成するフレームワークを開発すること。
• ユーザーが提供する明確化に正確に対応することで、下流タスクのパフォーマンスを向上させること。
• 質問応答、機械翻訳、自然言語推論を含む多様なNLPタスクにおいて、フレームワークの評価を実施すること。
• 曖昧な入力を特定するための、新しい不確実性推定手法「Intent-Sim」を導入し、検証すること。

提案手法

• フレームワークは3段階の順次サブタスクに構成される：（1）明確化を要求するタイミングを判断すること、（2）明確化質問を生成すること、（3）ユーザーの回答を用いて正しい出力を生成すること。
• Intent-Simは、複数回のユーザー・アシスタント対話のシミュレーションを行い、予測されたユーザー意図のエントロピーを計算することで不確実性を推定する。
• この手法は、曖昧な入力からの複数のアノテーションを用いて、ユーザー意図の自然な分布をモデル化し、意図エントロピーを計算する。
• 評価のため、明確化生成モジュールと応答モジュールのパフォーマンスを分離して評価できるように、オラクルが生成した明確化QAペアを用いる。
• 既存の曖昧なデータセット（複数のアノテーション付き）を用いて、質問応答、機械翻訳、自然言語推論の3つのNLPタスクでシステムを評価する。
• パフォーマンスは、エンドタスクの正確性とAUROCで測定され、相互作用コストを最小限に抑えつつ、パフォーマンス向上を最大化することに焦点を当てる。

Figure 1: Our three-stage framework for resolving ambiguity with clarification questions. In the first step, systems must identify which inputs will benefit from clarification. In the second step, after deciding to clarify, we provide systems with a clarifying QA pair corresponding to the gold inter

実験結果

リサーチクエスチョン

• RQ1 意図エントロピーに基づく不確実性推定は、明確化によってパフォーマンスが向上する可能性がある曖昧な入力を効果的に特定できるか？
• RQ2 明確化を実行する入力のわずかな割合に限定された場合、提案されたフレームワークは下流タスクのパフォーマンスをどのように向上させるか？
• RQ3 Intent-Sim手法は、さまざまなNLPタスクおよびLLMアーキテクチャにおいて、どの程度の頑健性を示すか？
• RQ4 ユーザーのフィードバック後に、明確化質問の質が最終出力の正確性にどの程度影響を与えるか？
• RQ5 QA、MT、NLIのような多様なNLP応用に、曖昧性解消のためのタスクに依存しないフレームワークを効果的に適用できるか？

主な発見

• Intent-Simは、明確化によってパフォーマンスが向上する可能性がある曖昧な入力を特定する、既存の不確実性推定手法を上回る性能を示した。
• 明確化を実行する入力を10％に限定した場合、ランダム選択に比べてパフォーマンス向上が2倍に達した。
• Intent-Simは、評価されたすべてのタスクおよびLLMで一貫した改善を示し、6つのLLM＋タスク設定のうち4つで最も高いパフォーマンスを記録した。
• この手法は、低相互作用予算下でも頑健であり、サンプル数が限られた状況でも、粗いエントロピー推定であっても高い有用性を維持した。
• LLMが曖昧さを検出し、ユーザーのフィードバックを通じて対話的に解消できるようにすることで、フレームワークはエンドタスクの正確性を効果的に向上させた。
• 結果から、尤度ベースやヒューリスティックなアプローチよりも、意図エントロピーに基づく不確実性推定が、明確化のための信号としてより効果的であることが示唆された。