[논문 리뷰] Large Language Models are few(1)-shot Table Reasoners

Wenhu Chen|arXiv (Cornell University)|2022. 10. 13.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 GPT-3와 같은 대규모 언어 모델(Large Language Models, LLMs)이 체인 오브 토트(Chain-of-Thought) 프롬프팅을 사용한 하나의 예시를 통한 컨텍스트 내 학습만으로도 복잡한 테이블 추론 작업—예를 들어 질의 응답 및 사실 검증—을 수행할 수 있음을 보여준다. 테이블 데이터에 대한 사전 훈련 없이도 LLMs는 강력한 성능을 발휘한다(예: TabFact에서 78.8%, WikiTableQuestions에서 48.8%), 긴 형식의 생성 작업에서 미세조정된 T5-large보다 뛰어나며, 높은 신뢰성 있는 추론 체인을 생성한다.

ABSTRACT

Recent literature has shown that large language models (LLMs) are generally excellent few-shot reasoners to solve text reasoning tasks. However, the capability of LLMs on table reasoning tasks is yet to be explored. In this paper, we aim at understanding how well LLMs can perform table-related tasks with few-shot in-context learning. Specifically, we evaluated LLMs on popular table QA and fact verification datasets like WikiTableQuestion, FetaQA, TabFact, and FEVEROUS and found that LLMs are competent at complex reasoning over table structures, though these models are not pre-trained on any table corpus. When combined with `chain of thoughts' prompting, LLMs can achieve very strong performance with only a 1-shot demonstration, even on par with some SoTA models. We show that LLMs are even more competent at generating comprehensive long-form answers on FetaQA than tuned T5-large. We further manually studied the reasoning chains elicited from LLMs and found that these reasoning chains are highly consistent with the underlying semantic form. We believe that LLMs can serve as a simple yet generic baseline for future research. The code and data are released in https://github.com/wenhuchen/TableCoT.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 작업 특화 미세조정 없이도 복잡한 테이블 추론 작업을 수행할 수 있는지 조사하는 것.
• 체인 오브 토트 프롬프팅을 사용한 소수의 예시를 통한 컨텍스트 내 학습이 테이블 기반 작업에 얼마나 효과적인지 평가하는 것.
• 긴 형식의 답변 생성 및 사실 검증 작업에서 T5-large와 같은 미세조정된 모델과의 성능 비교.
• LLM이 생성한 추론 체인의 충실도와 일관성과 진정한 의미 형태(Ground-truth semantic forms) 간의 관계 분석.
• 대규모 테이블과 기호 연산에서 LLM의 추론 능력에 대한 한계 특정하기

제안 방법

• LLM이 테이블 추론 작업을 수행하도록 유도하기 위해 단일 예시를 포함한 소수의 예시를 통한 컨텍스트 내 학습을 적용.
• 예측 이전에 단계별 추론을 유도하기 위해 체인 오브 토트(Chain-of-Thought, CoT) 프롬프팅을 적용.
• 앙상블 디코딩을 통해 추론 신뢰도를 향상시키기 위해 자기 일관성(self-consistency, CoT+SC)을 사용.
• 네 가지 벤치마크 데이터셋인 WikiTableQuestions, FetaQA, TabFact, FEVEROUS에서 LLM을 평가.
• 인간 평가를 통해 추론 체인의 충실도와 정확도를 평가.
• 다양한 크기의 테이블에서 모델 성능을 분석하여 확장성 한계를 특정.

실험 결과

연구 질문

• RQ1 LLMs는 미세조정 없이도 하나의 예시를 통한 컨텍스트 내 학습만으로도 복잡한 테이블 추론 작업을 수행할 수 있는가?
• RQ2 체인 오브 토트 프롬프팅은 테이블 기반 질의 응답 및 사실 검증 작업에서 LLM 성능에 어떤 영향을 미치는가?
• RQ3 LLM이 생성한 추론 체인은 진정한 의미 형태와 비교해 충실도와 정확도가 어느 정도인가?
• RQ4 테이블 크기가 LLM의 추론 성능에 어떤 영향을 미치는가?
• RQ5 긴 형식의 답변 생성에서 LLM 성능은 T5-large와 같은 미세조정된 모델과 비교해 어떻게 되는가?

주요 결과

• LLMs는 체인 오브 토트 프롬프팅을 사용한 1-shot 컨텍스트 내 학습만으로도 WikiTableQuestions에서 48.8%의 정확 일치 정확도, TabFact에서 78.8%를 기록한다.
• FetaQA에서 GPT-3는 인간 평가에서 정확도와 적절성 측면에서 미세조정된 T5-large를 30% 이상 뛰어넘는 성능을 보였다.
• LLM이 생성한 추론 체인의 약 90%는 테이블 내용에 충실하며, 10% 미만은 환각 현상을 보였다.
• 테이블 크기가 1,000 토큰을 초과할 경우 성능이 크게 떨어지며, 거의 무작위 수준으로 떨어지므로 LLM이 테이블 크기에 매우 민감함을 시사한다.
• 테이블을 추론할 때 LLM은 세어보기, 비교, 산술 연산과 같은 강력한 기호 추론 능력을 보였다.
• 작고 중간 크기의 테이블에서는 뛰어난 성능를 보였지만, LLM은 여전히 토큰 컨텍스트 길이 제한으로 인해 대규모 또는 결정론적 작업에서는 기호 방법의 대체로는 되지 못하고 있다.