[論文レビュー] Controllable Evidence Selection in Retrieval-Augmented Question Answering via Deterministic Utility Gating

Victor P. Unda|arXiv (Cornell University)|Feb 23, 2026

Topic Modeling被引用数 0

ひとこと要約

論文は、 Meaning-Utility Estimation および Diversity-Utility Estimation を用いて証拠をゲートする、トレーニングやファインチューニングなしで動作する、取得 augmented QA の決定論的エビデンス選択フレームワークを紹介します。

ABSTRACT

Many modern AI question-answering systems convert text into vectors and retrieve the closest matches to a user question. While effective for topical similarity, similarity scores alone do not explain why some retrieved text can serve as evidence while other equally similar text cannot. When many candidates receive similar scores, systems may select sentences that are redundant, incomplete, or address different conditions than the question requires. This paper presents a deterministic evidence selection framework for retrieval-augmented question answering. The approach introduces Meaning-Utility Estimation (MUE) and Diversity-Utility Estimation (DUE), fixed scoring and redundancy-control procedures that determine evidence admissibility prior to answer generation. Each sentence or record is evaluated independently using explicit signals for semantic relatedness, term coverage, conceptual distinctiveness, and redundancy. No training or fine-tuning is required. In the prototype, a unit is accepted only if it explicitly states the fact, rule, or condition required by the task. Units are not merged or expanded. If no unit independently satisfies the requirement, the system returns no answer. This deterministic gating produces compact, auditable evidence sets and establishes a clear boundary between relevant text and usable evidence.

研究の動機と目的

• retrieval-augmented QA における類似性ベースの検索を超えたエビデンスレベルのゲーティングの必要性を動機付ける。
• 回答生成前にエビデンスを選択する決定論的なフレームワークを提案し、可聴性と関連性を向上させる。
• 意味的関連性、用語の網羅性、概念の独自性、および冗長性の明示的な信号を導入し、適合性を決定する。

提案手法

• Meaning-Utility Estimation (MUE) および Diversity-Utility Estimation (DUE) を固定スコアリング基準として定義する。
• 単位レベルの評価を適用し、各文またはレコードを明示的な信号に対して独立に評価する。
• 学習・微調整なしのルールを適用し、回答生成前に厳密な適合性ゲートを課す。
• 単位が必須の事実・規則・条件を独立に満たす場合にのみ回答を返し、そうでない場合は回答を返さない。

実験結果

リサーチクエスチョン

• RQ1 トレーニングやファインチューニングなしで、決定論的な有用性ゲーティングが取得拡張 QA に適合性のあるエビデンスを信頼性高く選択できるか。
• RQ2 意味的関連性、用語の網羅性、独自性、冗長性の明示的信号はエビデンスの質と回答の正確性を向上させるか。
• RQ3 独立した単位評価は、従来の類似性ベースの検索と比べてエビデンスの凝縮性と監査可能性にどのように影響するか。
• RQ4 決定論的ゲーティングフレームワークにおける関連テキストと使用可能エビデンスの境界はどこに設定されるか。

主な発見

• 提案されたゲーティングフレームワークは凝縮され、監査可能なエビデンス集合を生み出す。
• エビデンス単位は独立して評価され、単位の統合や展開は行われない。
• 任意の単位が独立して要件を満たさない場合、システムは回答を返さない。
• フレームワークは、関連テキストと使用可能なエビデンスの明確な境界を強調する。