[논문 리뷰] Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning

Yunhu Ye, Binyuan Hui외 4명|arXiv (Cornell University)|2023. 01. 31.

Topic Modeling인용 수 11

한 줄 요약

논문은 대형 언어 모델을 사용하여 거대한 표 기반 증거와 복잡한 자연어 질문을 하위 증거 및 하위 질문으로 분해하는 프레임워크 Dater를 소개하여 맥락 학습으로 표 기반 추론의 신뢰성과 정확성을 향상시킨다.

ABSTRACT

Table-based reasoning has shown remarkable progress in combining deep models with discrete reasoning, which requires reasoning over both free-form natural language (NL) questions and structured tabular data. However, previous table-based reasoning solutions usually suffer from significant performance degradation on huge evidence (tables). In addition, most existing methods struggle to reason over complex questions since the required information is scattered in different places. To alleviate the above challenges, we exploit large language models (LLMs) as decomposers for effective table-based reasoning, which (i) decompose huge evidence (a huge table) into sub-evidence (a small table) to mitigate the interference of useless information for table reasoning; and (ii) decompose complex questions into simpler sub-questions for text reasoning. Specifically, we first use the LLMs to break down the evidence (tables) involved in the current question, retaining the relevant evidence and excluding the remaining irrelevant evidence from the huge table. In addition, we propose a "parsing-execution-filling" strategy to alleviate the hallucination dilemma of the chain of thought by decoupling logic and numerical computation in each step. Extensive experiments show that our method can effectively leverage decomposed evidence and questions and outperforms the strong baselines on TabFact, WikiTableQuestion, and FetaQA datasets. Notably, our model outperforms human performance for the first time on the TabFact dataset.

연구 동기 및 목표

• 거대하고 시끄러운 표와 복잡한 질문을 처리하는 표 기반 추론 동기를 제시한다.
• 관련 하위 표를 추출하여 무관한 데이터의 간섭을 줄이는 증거 분해를 제안한다.
• NL 질문을 실행 가능한 SQL 가이드 단계로 번역하는 신뢰할 수한 질문 분해 방법(parsing-execution-filling)을 소개한다.
• 분해 기반 프롿팅이 LLM으로 표준 벤치마크에서 강력한 성능 또는 이를 능가하는 성능을 달성함을 입증한다.
• 추적 가능한 하위 증거 및 하위 질문을 통한 해석가능성 이점을 강조한다.

제안 방법

• 질문이 주어졌을 때 전체 표에서 하위 표 행/열 인덱스를 예측하여 증거를 분해하는 강력한 LLM을 사용한다.
• 추론-실행-채우기(parsing-execution-filling) 전략을 사용하여 추상적 논리 하위 질문을 실행 가능한 SQL로 변환하고, 이를 하위 증거에서 실행한 뒤 구체 값을 채운다.
• 신뢰할 수 있는 하위 질문을 구성하기 위해 SQL 기반 중간 단계를 생성하여 증거와 정렬되도록 한다.
• 증거 및 질문 분해를 안내하기 위해 프롬프트를 사용한 맥락 학습과 소수의 예시를 적용한다.
• 분해된 하위 증거와 하위 질문을 결합하여 또 다른 맥락 학습 추론으로 최종 답을 얻는다.

실험 결과

연구 질문

• RQ1 LLM 기반의 거대 표를 더 작고 관련 있는 하위 증거로 분해하는 것이 표 기반 추론 과제를 개선할 수 있는가?
• RQ2 신뢰할 수한(SQL-가이드) 분해가 복잡한 NL 질문의 환각을 줄이고 증거와의 정렬을 개선할 수 있는가?
• RQ3 증거 및 질문 분해가 표 기반 사실 검증 및 QA 벤치마크의 성능을 공동으로 향상시키는가?
• RQ4 제시된 하위 증거 및 하위 질문을 통해 접근 방식의 해석가능성을 확보할 수 있는가?

주요 결과

• 제안된 방법은 여러 표 기반 추론 벤치마크에서 경쟁적 baselines보다 유의미한 개선을 달성한다.
• 이 접근 방식은 최소 하나의 벤치마크 데이터 세트에서 표 기반 추론에 대해 인간 성능을 능가할 수 있다.
• 증거 분해는 관련 표 영역에 추론을 집중시키고 무관한 데이터의 간섭을 줄인다.
• parsing-execution-filling 전략을 통한 질문 분해는 실행 가능한 SQL에 하위 증거를 근거로 두고 신뢰할 수 있는 하위 질문을 생성한다.
• 분해의 결합(증거+질문)은 데이터 세트 및 ablation에서 최고 성능을 달성한다.