[논문 리뷰] GraphOTTER: Evolving LLM-based Graph Reasoning for Complex Table Question Answering

Qianlong Li, Chen Huang외 4명|arXiv (Cornell University)|2024. 12. 02.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

GraphOTTER는 복잡한 표를 무방향 그래프로 변환하고, VisitNode, GetSharedNeighbours, AnswerQuestion와 같은 명시적이고 단계적인 추론 작업을 사용하여 LLM이 관련 없는 정보를 걸러내고 정확하게 답변를 찾을 수 있도록 돕는 그래프 기반 추론 프레임워크를 제안한다. 이는 두 가지 벤치마크 데이터셋에서 두 가지 LLM 백본을 사용하여 기존 최고의 베이스라인 대비 평균 4.77% 향상된 성능을 달성한다.

ABSTRACT

Complex Table Question Answering involves providing accurate answers to specific questions based on intricate tables that exhibit complex layouts and flexible header locations. Despite considerable progress having been made in the LLM era, the reasoning processes of existing methods are often implicit, feeding the entire table into prompts, making it difficult to effectively filter out irrelevant information in the table. To this end, we propose GraphOTTER that explicitly establishes the reasoning process to pinpoint the correct answers. In particular, GraphOTTER leverages a graph-based representation, transforming the complex table into an undirected graph. It then conducts step-by-step reasoning on the graph, with each step guided by a set of pre-defined intermediate reasoning actions. As such, it constructs a clear reasoning path and effectively identifies the answer to a given question. Comprehensive experiments on two benchmark datasets and two LLM backbones demonstrate the effectiveness of GraphOTTER. Further analysis indicates that its success may be attributed to the ability to efficiently filter out irrelevant information, thereby focusing the reasoning process on the most pertinent data. Our code and experimental datasets are available at \url{https://github.com/JDing0521/GraphOTTER}.

연구 동기 및 목표

• 기존의 LLM 기반 복잡한 표 질의 응답 방법에서 암시적인 추론 문제를 해결하기 위해, 전체 표를 처리할 때 관련 없는 내용을 걸러내지 못하는 문제를 해결한다.
• 병합된 셀과 유연한 헤더를 포함한 복잡한 표의 그래프 표현을 통해 추론 경로를 명시적으로 모델링하여 답변 정확도를 향상시킨다.
• 전체 표 프롬프트에 대한 의존도를 줄이기 위해, LLM이 관련 있는 셀로 유도하는 구조적이고 단계적인 추론 작업을 도입한다.
• 방문한 노드와 공유되는 이웃을 추적하는 동적 추론 추적 기록을 유지하여 더 투명하고 추적 가능하며 효율적인 추론을 가능하게 한다.
• 벤치마크 데이터셋에서의 종합적 평가를 통해 그래프 기반 추론이 복잡한 표 질의 응답에서 효과적인지 입증한다.

제안 방법

• 헤더 및 데이터 셀을 노드로 표현하여 정렬되지 않은 그래프로 복잡한 표를 변환하고, 의미적 및 공간적 관계를 유지한다.
• LLM이 그래프의 구조적 탐색을 유도하기 위해 사전 정의된 중간 추론 작업 집합(VisitNode, GetSharedNeighbours, AnswerQuestion)을 도입한다.
• 방문한 노드와 공유되는 이웃을 기록하는 동적 추론 추적 기록을 유지하여 중복되거나 관련 없는 경로를 피할 수 있도록 한다.
• 현재 표 내용, 추론 추적 기록, 상호작용 이력이 통합된 프롬프트 엔지니어링 전략을 사용하여 각 추론 단계를 유도한다.
• 출력 형식의 일관성을 보장하기 위해 답변 생성을 위한 JSON 스키마를 활용하며, 이는 셀, 작업, 설명, 최종 답변을 포함한다.
• 두 가지 LLM 백본을 지원하며, 두 가지 벤치마크 데이터셋에서 평가하여 일반화 능력과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 복잡한 표의 그래프 구조화된 표현에서 명시적이고 단계적인 추론이 표 질의 응답의 정확도를 향상시키는가?
• RQ2 종단 간 프롬프팅 대비 그래프 기반 추론은 관련 없는 표 내용의 영향을 어느 정도 줄이는가?
• RQ3 추론 추적 메커니즘이 관련 있는 셀로 향하는 데에 얼마나 효과적으로 LLM을 유도하며, 중복되거나 잘못된 경로를 피하는가?
• RQ4 GetSharedNeighbours와 같은 구조적 추론 작업의 사용이 복잡한 표 질의 응답 벤치마크에서 측정 가능한 성능 향상을 이끌어내는가?
• RQ5 GraphOTTER는 병합된 셀과 비표준 헤더를 포함한 다양한 LLM 백본과 복잡한 표 레이아웃에 일반화 가능한가?

주요 결과

• GraphOTTER는 두 가지 벤치마크 데이터셋에서 기존 최고의 베이스라인 대비 평균 4.77% 향상된 성능을 달성하여 복잡한 표 질의 응답에서의 향상이 뚜렷하게 입증되었다.
• 명시적 추론 과정 덕분에 관련 없는 정보를 효과적으로 걸러내는 것이 가능했으며, 이는 모델 성공의 핵심 요소로 확인되었다.
• 추론 추적 메커니즘이 방문한 노드와 공유되는 이웃을 성공적으로 추적하여 그래프 내에서 일관되고 집중된 탐색을 지원했다.
• 구조적 추론 작업의 사용은 암묵적 프롬프팅 전략 대비 더 신뢰할 수 있고 해석 가능한 추론 경로를 제공했다.
• 모델은 두 가지 다른 LLM 백본 모두에서 뛰어난 성능을 유지하여 호환성과 강건성을 입증했다.
• 제거 실험(ablation studies) 결과 그래프 표현과 명시적 추론 구성 요소가 모델 성능에 결정적인 영향을 미치며, 제거 시 정확도가 크게 떨어지는 것으로 확인되었다.