[논문 리뷰] Zero-shot Fact Verification by Claim Generation

Liangming Pan, Wenhu Chen외 3명|arXiv (Cornell University)|2021. 05. 31.

Topic Modeling참고 문헌 20인용 수 8

한 줄 요약

이 논문은 질문-답변 쌍을 위키백과 증거에서 유도한 것으로부터 주장(claim)으로 변환함으로써 학습 데이터를 합성하는 QACG라는 제로샷 사실 검증 프레임워크를 제안한다. 이 주장은 지지됨, 반박됨, 또는 NEI(정보 부족)로 레이블링된다. 30만 개의 자동 생성된 (증거, 주장) 쌍으로 RoBERTa 모델을 미리 훈련시킴으로써, 인간이 레이블링한 데이터 없이도 FEVER에서 77%의 F1 점수를 달성하였으며, 이는 인간이 레이블링한 2,000개의 예제로 미세조정된 모델의 성능과 동일하다.

ABSTRACT

Neural models for automated fact verification have achieved promising results thanks to the availability of large, human-annotated datasets. However, for each new domain that requires fact verification, creating a dataset by manually writing claims and linking them to their supporting evidence is expensive. We develop QACG, a framework for training a robust fact verification model by using automatically generated claims that can be supported, refuted, or unverifiable from evidence from Wikipedia. QACG generates question-answer pairs from the evidence and then converts them into different types of claims. Experiments on the FEVER dataset show that our QACG framework significantly reduces the demand for human-annotated training data. In a zero-shot scenario, QACG improves a RoBERTa model's F1 from 50% to 77%, equivalent in performance to 2K+ manually-curated examples. Our QACG code is publicly available.

연구 동기 및 목표

• 사실 검증을 위한 인간 레이블링된 학습 데이터의 높은 비용 문제를 해결하기 위해.
• 인간이 레이블링한 예제 대신 자동 생성된 주장들을 사용하여 제로샷 사실 검증을 탐색하기 위해.
• 질문 생성 및 QA에서 주장으로의 변환을 활용하여 도메인 내 인간 레이블링에 대한 의존도를 줄이기 위해.
• 저자원 환경에서 사실 검증 모델의 강건성과 성능을 향상시키기 위해.
• 합성된 주장들이 인간 레이블링된 데이터로 훈련된 모델의 성능을 따라하거나 근접시킬 수 있는지 평가하기 위해.

제안 방법

• 프레임워크는 SQuAD에 대해 미세조정된 사전 훈련된 BART 모델을 사용하여 증거와 답변 구간에서 질문을 생성한다.
• 두 번째로 미세조정된 BART 모델을 사용하여 QA2D 데이터셋에서 (질문, 답변) 쌍을 기술적 주장으로 변환한다.
• 정답이 정확하고 증거에서 검증 가능한 경우 주장은 지지됨으로, 정답이 잘못된 경우 반박됨으로, 질문이 증거에서 해결할 수 없는 경우 NEI(정보 부족)로 레이블링된다.
• 위키백과 문단에서 매 레이블 유형(지지됨, 반박됨, NEI)당 10만 개의 주장이 생성되어 RoBERTa 기반의 사실 검증 모델을 미리 훈련하기 위해 사용된다.
• 생성된 데이터는 제로샷 설정에서 사실 검증 모델을 미리 훈련하고, 소수의 인간 데이터로 소수 샘플 시나리오에서 미세조정하기 위해 사용된다.
• 논리적 가정을 활용하여 레이블 일관성을 확보한다: 정확한 답변 → 지지됨 주장; 잘못된 답변 → 반박됨 주장; 해결 불가 질문 → NEI 주장.

실험 결과

연구 질문

• RQ1 위키백과 문단에서 자동 생성된 주장들이 인간 레이블링된 데이터가 없는 상황에서 사실 검증 모델을 효과적으로 미리 훈련시킬 수 있는가?
• RQ2 합성된 주장으로 훈련된 사실 검증 모델의 성능가 인간 레이블링된 데이터로 훈련된 모델의 성능를 제로샷 및 소수 샘플 설정에서 비교해보면 어떻게 되는가?
• RQ3 생성된 주장들이 인간 레이블링된 주장의 추론 복잡성과 언어 다양성을 어느 정도 반영하는가?
• RQ4 합성된 주장으로 미리 훈련하면 사실 검증 모델의 비편향 테스트 세트에서의 강건성이 향상되는가?
• RQ5 현재의 주장 생성 기술이 다단계 추론, 일반 지식, 또는 수치 추론을 다루는 데에 얼마나 한계를 가진다?

주요 결과

• QACG 프레임워크는 제로샷 설정에서 FEVER 벤치마크에서 77%의 F1 점수를 달성하였으며, 인간이 레이블링한 2,000개의 예제로 미세조정된 RoBERTa 모델의 성능과 동일하다.
• 클래스당 100개의 인간 레이블링 예제만으로도, 10만 개 이상의 예제로 훈련된 완전한 지도 학습 모델의 89.1% 성능에 도달한다.
• 생성된 주장으로 훈련된 모델는 모든 소수 샘플 환경에서 처음부터 훈련된 모델보다 뛰어나며, 클래스당 50개의 레이블링 예제만으로도 F1 점수에서 25.7점 향상된다.
• 인간 평가 결과, 생성된 주장들은 유창하고 레이블 일관성이 있으며 언어적 다양성이 있지만, 깊은 추론 능력은 부족하다.
• FEVER에서 인간이 레이블링한 주장의 상당 부분(지지됨 38%, 반박됨 16%)은 일반 지식이나 세계 지식이 필요하므로, 생성된 주장과 인간의 주장 사이에 도메인 격차가 존재한다.
• 이 프레임워크는 합성 데이터 생성이 저자원 도메인에서 사실 검증을 위한 효과적인 '초기 설정'이 될 수 있음을 보여준다.