[논문 리뷰] TabFact: A Large-scale Dataset for Table-based Fact Verification

Wenhu Chen, Hongmin Wang외 6명|arXiv (Cornell University)|2019. 09. 05.

Advanced Text Analysis Techniques참고 문헌 40인용 수 181

한 줄 요약

TabFact은 대규모 표 기반 사실 검증 데이터셋(118k 진술, 16k 위키피디아 표)을 도입하고 언어적·기호적 추론을 다루기 위해 두 가지 강력한 베이스라인 모델—Table-BERT와 Latent Program Algorithm(LPA)—을 제시한다.

ABSTRACT

The problem of verifying whether a textual hypothesis holds based on the given evidence, also known as fact verification, plays an important role in the study of natural language understanding and semantic representation. However, existing studies are mainly restricted to dealing with unstructured evidence (e.g., natural language sentences and documents, news, etc), while verification under structured evidence, such as tables, graphs, and databases, remains under-explored. This paper specifically aims to study the fact verification given semi-structured data as evidence. To this end, we construct a large-scale dataset called TabFact with 16k Wikipedia tables as the evidence for 118k human-annotated natural language statements, which are labeled as either ENTAILED or REFUTED. TabFact is challenging since it involves both soft linguistic reasoning and hard symbolic reasoning. To address these reasoning challenges, we design two different models: Table-BERT and Latent Program Algorithm (LPA). Table-BERT leverages the state-of-the-art pre-trained language model to encode the linearized tables and statements into continuous vectors for verification. LPA parses statements into programs and executes them against the tables to obtain the returned binary value for verification. Both methods achieve similar accuracy but still lag far behind human performance. We also perform a comprehensive analysis to demonstrate great future opportunities. The data and code of the dataset are provided in \url{https://github.com/wenhuchen/Table-Fact-Checking}.

연구 동기 및 목표

• 반구조적 증거(표)로 사실 검증을 수행하는지 연구한다.
• ENTAILED 또는 REFUTED로 라벨링된 표-backed 진술의 크고 품질 높은 데이터셋을 만든다.
• 언어적 추론과 기호적 표 추론을 수행할 수 있는 모델을 개발하고 비교한다.

제안 방법

• 위키테이블스(WikiTables)에서 16k개의 표와 118k개의 사람이 주석한 진술(ENTAILED 또는 REFUTED로 라벨링)을 포함하도록 TabFact를 구성한다.
• 아티팩트를 완화하기 위해 이채널 수집과 음수 재작성 전략을 사용하여 주석을 다듬는다.
• 표를 선형화하고 NLI 스타일의 검증을 위한 사전학습 언어모델을 사용하는 Table-BERT를 제안한다.
• 표 위에서 실행 가능한 프로그램으로의 변환과 일치하는 경로를 선택하는 판별기를 사용하는 잠재 프로그램 탐색(Latent Program Algorithm, LPA)을 제안한다.
• 단순/복합 테스트 분할과 인간 성능에 대해 두 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 사실 검증이 반구조적 표 증거 위에서 효과적으로 수행될 수 있는가?
• RQ2 표 기반 검증 과제에서 언어적 추론과 기호적 추론은 어떻게 상호작용하는가?
• RQ3 TabFact에 대한 신경망 및 프로그램 합성 기반 접근법의 강점과 한계는 무엇인가?
• RQ4 Table-BERT와 LPA가 TabFact에서 인간 수준의 정확도에 얼마나 가까워질 수 있는가?
• RQ5 링킹, 탐색 및 추론 단계에 대한 오류 분석 및 인간 평가에서 어떤 통찰이 도출되는가?

주요 결과

• TabFact는 16,573개의 표에 걸쳐 118,275개의 주석된 진술을 포함하고, 강한 인터-주석자 일치를 보인다(Fleiss κ = 0.75).
• 두 가지 베이스라인 모델은 유사한 정확도를 달성하지만 간단한 분할과 복합 분할 모두에서 인간 성능에 뒤처진다.
• Table-BERT는 자연어 표 템플릿과 수평/수직 선형화를 활용해 이점이 있으며, 최적 변형은 순진한 베이스라인 대비 상당한 이득을 얻는다.
• LPA는 표 위에서 실행 가능한 프로그램으로 진술을 변환하고, 일관된 흔적을 선택하기 위해 판별기를 사용하여 경쟁력 있는 결과를 얻는다.
• 인간 평가를 통해 연결 및 프로그램 탐색의 한계가 드러났으며(약 58%의 올바른 연결, 진짜 프로그램에 대해 약 51%의 재현율), 잘못된 추론이 주요 도전과제로 부각된다.
• 전반적으로 두 접근법 모두 표 기반 사실 검증의 실현 가능성을 보여주며 개선의 여지가 크다.