[논문 리뷰] Controllable Evidence Selection in Retrieval-Augmented Question Answering via Deterministic Utility Gating

Victor P. Unda|arXiv (Cornell University)|2026. 02. 23.

Topic Modeling인용 수 0

한 줄 요약

논문은 의미-유용성 추정과 다양성-유용성 추정으로 증거를 게이트하는 검색 확장 QA를 위한 결정론적 증거 선택 프레임워크를 도입하며 학습이나 미세조정 없이 작동한다.

ABSTRACT

Many modern AI question-answering systems convert text into vectors and retrieve the closest matches to a user question. While effective for topical similarity, similarity scores alone do not explain why some retrieved text can serve as evidence while other equally similar text cannot. When many candidates receive similar scores, systems may select sentences that are redundant, incomplete, or address different conditions than the question requires. This paper presents a deterministic evidence selection framework for retrieval-augmented question answering. The approach introduces Meaning-Utility Estimation (MUE) and Diversity-Utility Estimation (DUE), fixed scoring and redundancy-control procedures that determine evidence admissibility prior to answer generation. Each sentence or record is evaluated independently using explicit signals for semantic relatedness, term coverage, conceptual distinctiveness, and redundancy. No training or fine-tuning is required. In the prototype, a unit is accepted only if it explicitly states the fact, rule, or condition required by the task. Units are not merged or expanded. If no unit independently satisfies the requirement, the system returns no answer. This deterministic gating produces compact, auditable evidence sets and establishes a clear boundary between relevant text and usable evidence.

연구 동기 및 목표

• 유사성 기반 검색을 넘어 증거 수준의 게이팅이 필요한 이유를 검색 확장 QA에서 제시한다.
• 대답 생성 전에 증거를 선택하는 결정론적 프레임워크를 제안하여 가독성(또는 명확성)과 관련성을 향상시키고자 한다.
• 포함성 판단을 위한 의미적 관련성, 용어 커버리지, 개념적 독특성 및 중복성에 대한 명시적 신호를 도입한다.

제안 방법

• Meaning-Utility Estimation(MUE)와 Diversity-Utility Estimation(DUE)을 고정 점수 기준으로 정의한다.
• 각 문장이나 레코드가 명시적 신호에 대해 독립적으로 평가되는 단위 수준 평가를 적용한다.
• 대답 생성 전 학습/미세조정 금지 규칙과 엄격한 허용 게이트를 시행한다.
• 단위가 독립적으로 필요한 사실, 규칙 또는 조건을 만족하는 경우에만 대답을 반환하고, 그렇지 않으면 대답을 반환하지 않는다.

실험 결과

연구 질문

• RQ1 학습이나 미세조정 없이 결정론적 유틸리티 게이팅이 검색 확강 QA에 대해 신뢰할 수 있게 허용 가능한 증거를 선택할 수 있는가?
• RQ2 의미적 관련성, 용어 커버리지, 구별성, 및 중복성에 대한 명시적 신호가 증거 품질과 정답 정확도를 향상시키는가?
• RQ3 독립적 단위 평가가 전통적인 유사도 기반 검색과 비교할 때 증거의 간결성 및 감사 가능성에 어떤 영향을 주는가?
• RQ4 결정론적 게이팅 프레임워크에서 관련 텍스트와 사용 가능한 증거 사이에 어떤 경계가 설정되는가?

주요 결과

• 제안된 게이팅 프레임워크는 간결하고 감사 가능한 증거 모음을 산출한다.
• 증거 단위는 독립적으로 평가되며 단위의 병합이나 확장이 없다.
• 어떤 단위도 독립적으로 요구사항을 만족시키지 못하면 시스템은 대답을 반환하지 않는다.
• 프레임워크는 관련 텍스트와 사용 가능한 증거 사이의 명확한 경계를 강조한다.