[논문 리뷰] Halo: Domain-Aware Query Optimization for Long-Context Question Answering

Pramod Chunduri, Francisco Romero외 3명|arXiv (Cornell University)|2026. 03. 18.

Topic Modeling인용 수 0

한 줄 요약

Halo는 사용자 프롬프트에서 도메인 지식을 구조화된 지시로 자동으로 추출하고(구조적, 필터, 검증) 이를 다단계 QA 파이프라인에 적용하여 장문의 맥락 질문에서 정확도를 높이고 비용을 줄입니다.

ABSTRACT

Long-context question answering (QA) over lengthy documents is critical for applications such as financial analysis, legal review, and scientific research. Current approaches, such as processing entire documents via a single LLM call or retrieving relevant chunks via RAG have two drawbacks: First, as context size increases, response quality can degrade, impacting accuracy. Second, iteratively processing hundreds of input documents can incur prohibitively high costs in API calls. To improve response quality and reduce the number of iterations needed to get the desired response, users tend to add domain knowledge to their prompts. However, existing systems fail to systematically capture and use this knowledge to guide query processing. Domain knowledge is treated as prompt tokens alongside the document: the LLM may or may not follow it, there is no reduction in computational cost, and when outputs are incorrect, users must manually iterate. We present Halo, a long-context QA framework that automatically extracts domain knowledge from user prompts and applies it as executable operators across a multi-stage query execution pipeline. Halo identifies three common forms of domain knowledge - where in the document to look, what content to ignore, and how to verify the answer - and applies each at the pipeline stage where it is most effective: pruning the document before chunk selection, filtering irrelevant chunks before inference, and ranking candidate responses after generation. To handle imprecise or invalid domain knowledge, Halo includes a fallback mechanism that detects low-quality operators at runtime and selectively disables them. Our evaluation across finance, literature, and scientific datasets shows that Halo achieves up to 13% higher accuracy and 4.8x lower cost compared to baselines, and enables a lightweight open-source model to approach frontier LLM accuracy at 78x lower cost.

연구 동기 및 목표

• 긴 문서(예: 10-K 보고서)에서의 장-context QA의 비효율성을 vanilla LLMs 또는 RAG를 사용하여 해결하는 동기를 제시한다.
• 자유 형식 도메인 지식을 프롬프트에서 구조화된 지시로 자동 변환한다.
• 이러한 지시를 실행 가능한 연산자로 다중 단계 파이프라인에 걸쳐 적용하여 맥락을 가지치고, 청크를 필터링하고, 정답을 검증한다.
• 무거운 오버헤드 없이 품질이 낮은 지시를 처리하는 대체 메커니즘을 제공한다.
• 금융, 문학, 과학 데이터 세트에서 교차 도메인 효과성과 비용 이점을 보여준다.

제안 방법

• KnowledgeParser가 사용자 프롬프트를 세 가지 지시 세트로 변환한다: Structural (S), Filter (F), 및 Validate (V).
• Structural은 문서의 어느 부분을 살펴볼지 지시하고, 청크 생성 전에 내용을 이에 맞게 가지치기를 수행한다.
• Filter는 경량 모델을 사용하여 비관련 청크를 비용이 높은 추론 전에 버린다.
• Validate는 양성 및 음성 제약을 사용하여 후보 응답의 순위를 매겨 환각을 탐지해 이를 낮춘다.
• A fallback manager는 런타임에 운영자 성능이 저하되었는지 감지하고 문제를 일으키는 연산자를 선택적으로 비활성화한다.
• 평가는 기본(Base라인) 대비 최대 13% 더 높은 정확도와 최대 4.8배 낮은 비용을 보여주고, 경량 오픈 모델은 프런티어 LLM 정확도에 근접하며 비용은 78배 낮고 도메인 연산자에서의 오버헤드는 단 2%에 불과하다.

Figure 1. VanillaLLM and RAG cannot utilize user’s domain knowledge effectively for long-context QA. Halo extracts this knowledge and systematically applies it in a multi-stage query optimization pipeline.

실험 결과

연구 질문

• RQ1 Halo가 도메인 간 장문의 문서에서 정확도와 비용 측면에서 일반 LLM과 표준 RAG를 능가할 수 있는가?
• RQ2 자동으로 추출된 도메인 지식(S, F, V)이 맥락 가지치기, 청크 필터링, 정답 검증에 어떤 영향을 미치는가?
• RQ3 지침이 모호하거나 잘못된 경우 런타임 대체 메커니즘이 견고성에 미치는 영향은 무엇인가?
• RQ4 Halo가 경량 모델이 프런티어 LLM 정확도에 접근하도록 substantial 비용 절감을 달성하는 데 얼마나 기여하는가?

주요 결과

• Halo는 기본 대비 최대 13% 더 높은 정확도를 달성한다.
• Halo는 기본 대비 최대 4.8x 낮은 비용을 달성한다.
• Halo는 경량 오픈 소스 모델이 프런티어 LLM 정확도에 근접하도록 78x 더 낮은 비용으로 가능하게 한다.
• 도메인 연산자는 전체 쿼리 비용에 약 2%의 오버헤드만 추가한다.
• 이 접근법은 금융, 문학, 과학 데이터 세트 전반에 걸친 이점을 보여준다.

Figure 2. Workflow of Halo : (1) the KnowledgeParser extracts domain directives from the user prompt, (2) the ContextSelector prunes structural elements using the Structural operator and identifies the top- $k$ relevant chunks, (3) the InferenceEngine applies the Filter operator to discard irrelevan