[논문 리뷰] Think Locally, Explain Globally: Graph-Guided LLM Investigations via Local Reasoning and Belief Propagation

Saurabh Jha, Rohan Arora외 8명|arXiv (Cornell University)|2026. 01. 25.

Semantic Web and Ontologies인용 수 0

한 줄 요약

본 논문은 로컬 귀납 추론을 LLM과 함께 사용하고 믿음 전파를 통한 그래프 탐색을 결정론적으로 수행하는 분리형 아키텍처 EoG를 제안하여 그래프 기반 탐사를 가능하게 하며 ITBench 시나리오에서 상당한 성능 향상을 달성한다.

ABSTRACT

LLM agents excel when environments are mostly static and the needed information fits in a model's context window, but they often fail in open-ended investigations where explanations must be constructed by iteratively mining evidence from massive, heterogeneous operational data. These investigations exhibit hidden dependency structure: entities interact, signals co-vary, and the importance of a fact may only become clear after other evidence is discovered. Because the context window is bounded, agents must summarize intermediate findings before their significance is known, increasing the risk of discarding key evidence. ReAct-style agents are especially brittle in this regime. Their retrieve-summarize-reason loop makes conclusions sensitive to exploration order and introduces run-to-run non-determinism, producing a reliability gap where Pass-at-k may be high but Majority-at-k remains low. Simply sampling more rollouts or generating longer reasoning traces does not reliably stabilize results, since hypotheses cannot be autonomously checked as new evidence arrives and there is no explicit mechanism for belief bookkeeping and revision. In addition, ReAct entangles semantic reasoning with controller duties such as tool orchestration and state tracking, so execution errors and plan drift degrade reasoning while consuming scarce context. We address these issues by formulating investigation as abductive reasoning over a dependency graph and proposing EoG (Explanations over Graphs), a disaggregated framework in which an LLM performs bounded local evidence mining and labeling (cause vs symptom) while a deterministic controller manages traversal, state, and belief propagation to compute a minimal explanatory frontier. On a representative ITBench diagnostics task, EoG improves both accuracy and run-to-run consistency over ReAct baselines, including a 7x average gain in Majority-at-k entity F1.

연구 동기 및 목표

• 숨겨진 의존성을 가진 크고 이질적인 데이터에 대해 신뢰할 수 있는 진단 조사의 필요성을 동기 부여한다.
• 로컬 귀납 추론을 결정론적 그래프 탐색과 분리하는 분리형 아키텍처(EoG)를 도입한다.
• 그래프 구조가 있는 환경에서 접근 방식이 더 높은 정확성을 보임을 보여준다.

제안 방법

• LLMs를 통한 로컬 귀납 추론을 그래프 기반 믿음 전파와 분리하는 EoG 아키텍처를 제안한다.
• 그래프 탐색과 믿음 전파를 활용하여 설명을 결정론적으로 전파한다.
• 로컬 추론 결과가 전역 설명에 어떻게 통합되어 신뢰성을 향상시키는지 시연한다.

실험 결과

연구 질문

• RQ1 정확성을 포기하지 않으면서 LLM을 사용하여 그래프 구조 환경에서 실패를 어떻게 신뢰성 있게 진단할 수 있는가?
• RQ2 로컬 귀납 추론을 결정론적 그래프 추론과 분리하면 설명의 품질과 견고성을 높일 수 있는가?
• RQ3 ITBench 유사 시나리오에서 그래프 기반 LLM 조사를 사용하여 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• EoG는 ITBench 시나리오에서 기준선과 비교하여 Majority@k F1이 7배 높다.
• 그래프 추출에서 로컬 추론을 분리하는 것이 그래프 구조 도메인에서 설명 정확도를 향상시킨다.
• 그래프 기반 조사는 고유의 그래프 구조를 가진 도메인에 일반화된다.