[논문 리뷰] TabTracer: Monte Carlo Tree Search for Complex Table Reasoning with Large Language Models

Zhizhao Luo, Zhaojing Luo외 2명|arXiv (Cornell University)|2026. 02. 15.

Topic Modeling인용 수 0

한 줄 요약

TabTracer 는 실행 가이드가 있는 몬테카를로 트리 탐색(MCTS)을 버전 관리된 표 상태와 단계 수준 검증과 함께 사용하여 LLMs와의 복잡한 표 추론을 개선하고, 베이스라인보다 더 높은 정확도와 더 낮은 토큰 비용을 달성합니다.

ABSTRACT

Large language models (LLMs) have emerged as powerful tools for natural language table reasoning, where there are two main categories of methods. Prompt-based approaches rely on language-only inference or one-pass program generation without step-level verification. Agent-based approaches use tools in a closed loop, but verification is often local and backtracking is limited, allowing errors to propagate and increasing cost. Moreover, they rely on chain- or beam-style trajectories that are typically combinatorially redundant, leading to high token costs. In this paper, we propose TabTracer, an agentic framework that coordinates multi-step tool calls over intermediate table states, with explicit state tracking for verification and rollback. First, it enforces step-level verification with typed operations and lightweight numeric and format checks to provide reliable rewards and suppress hallucinations. Second, execution-feedback Monte Carlo Tree Search maintains a search tree of candidate table states and uses backpropagated reflection scores to guide UCB1 selection and rollback via versioned snapshots. Third, it reduces redundancy with budget-aware pruning, deduplication, and state hashing with a monotonicity gate to cut token cost. Comprehensive evaluation on TabFact, WikiTQ, and CRT datasets shows that TabTracer outperforms state-of-the-art baselines by up to 6.7% in accuracy while reducing token consumption by 59--84%.

연구 동기 및 목표

• LLMs를 활용한 반구조화 표에 대한 강건한 추론을 촉진하기 위하여 환각과 초기 오류의 확산에 대응합니다.
• 중간 표 상태에 대한 명시적 상태 추적과 다단 도구 호출을 조정하는 에이전트적 프레임워크를 도입합니다.
• 토큰 비용을 줄이고 탐색 중복을 감소시키기 위한 단계 수준 검증, 되돌리기(backtracking), 예산 인지 가지치기를 제공합니다.
• TabFact, WikiTQ, 및 CRT 데이터셋에서 우수한 정확도를 시연하고 토큰 소비를 낮춥니다.

제안 방법

• 탭트래커(TabTracer) 를 에이전트적 프레임워크로 제안합니다. Reasoning Layer (budgeted MCTS), Execution Layer (typed dataframe tools), Storage Layer (versioned table snapshots).
• SelectColumns, FilterRows, GenExeCode 등의 Typed table operators 를 사용한 단계 수준 검증을 사전/사후 검사와 버전 관리된 중간 표와 함께 강제합니다.
• 정보 주도 몬테카를로 트리 탐색을 사용하여 후보 표 상태의 트리를 유지하고, 반영 점수(reflection scores) 를 역전파하며, 버전 관리된 스냅샷을 통한 롤백을 가능하게 합니다.
• 예산 인지 가지치기, 상태 해싱, 단조성 게이트를 적용하여 거의 중복된 확장을 억제하고 토큰 사용을 제약합니다.
• 반영 기반 보상 신호를 이용해 MCTS 를 안내하고, 캐시된 메타데이터를 활용하는 대체 평가자(fallback scorer) 를 통해 견고한 평가를 제공합니다.
• TabTracer 가 최첨단 베이스라인보다 정확도에서 최대 6.7% 향상시키고 토큰 소모를 59–84% 줄임을 보여줍니다.

Figure 1 . Prompt-based and agent-based outputs fail to complete the aggregation, while TabTracer(our approach) slices the table to count songs per date and aggregate by month (Nov=9 vs Jan=3).

실험 결과

연구 질문

• RQ1 Step-level verification 과 실행 기반 보상이 LLM 기반 표 추론에서 수치 환각을 줄일 수 있는가?
• RQ2 Execution-feedback MCTS 를 통한 되돌림(backtracking) 이 표 추론 과제의 초기 오류에 대한 견고함을 향상시키는가?
• RQ3 예산 인지 가지치기 및 상태 재사용이 정확도를 해치지 않으면서 복잡한 표 추론의 토큰 비용을 줄이는가?
• RQ4 TabFact, WikiTQ, CRT 같은 표 추론 표준 벤치마크에서 TabTracer 의 경험적 이득은 베이스라인에 비해 어느 정도인가?

주요 결과

• TabTracer 는 TabFact, WikiTQ, 및 CRT 데이터셋에서 최첨단 베이스라인보다 최대 6.7% 더 높은 정확도를 달성합니다.
• 토큰 소모가 베이스라인에 비해 59–84% 감소합니다.
• Typed 연산자와 함께하는 단계 수준 검증은 수치 환각을 억제하고 단계 간 에러 전파를 방지합니다.
• Execution-feedback MCTS 는 버전 관리된 스냅샷을 활용한 롤백 및 부분경로 대체를 가능하게 하여 신뢰할 수 있는 되돌리기를 제공합니다.
• 예산 인지 가지치기 및 상태 해싱은 중복 확장을 줄이고 고정된 토큰 예산 하에서도 진행 상황을 유지합니다.

Figure 2 . The reasoning layer includes planning and reflection, the execution layer issues atomic dataframe tools, and the versioned storage layer preserves snapshots for fallback and retry.