[논문 리뷰] MultiFC: A Real-World Multi-Domain Dataset for Evidence-Based Fact Checking of Claims

Isabelle Augenstein, Christina Lioma외 5명|arXiv (Cornell University)|2019. 09. 07.

Topic Modeling참고 문헌 36인용 수 9

한 줄 요약

이 논문은 34,918개의 자연 발생적 진술을 포함한, 26개의 사실 확인 웹사이트에서 수집한 실제 세계 데이터셋인 MultiFC를 소개한다. 이 데이터셋은 증거 페이지와 풍부한 메타데이터와 함께 제공되며, 증거 순서 매기기와 진술 진실성 예측을 동시에 수행하는 새로운 공동 모델을 제안한다. 이 모델은 매크로 F1 점수 49.2%를 기록하여, 증거 인코딩과 메타데이터가 기존 기준 모델 대비 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

We contribute the largest publicly available dataset of naturally occurring factual claims for the purpose of automatic claim verification. It is collected from 26 fact checking websites in English, paired with textual sources and rich metadata, and labelled for veracity by human expert journalists. We present an in-depth analysis of the dataset, highlighting characteristics and challenges. Further, we present results for automatic veracity prediction, both with established baselines and with a novel method for joint ranking of evidence pages and predicting veracity that outperforms all baselines. Significant performance increases are achieved by encoding evidence, and by modelling metadata. Our best-performing model achieves a Macro F1 of 49.2%, showing that this is a challenging testbed for claim veracity prediction.

연구 동기 및 목표

• 자연 발생적 진술을 다양한 사실 확인 소스에서 수집함으로써 자동 진술 진실성 예측을 위한 대규모 실세계 데이터셋의 부족을 보완하고자 한다.
• 엔티티 다양성, 레이블 분포, 메타데이터 유용성 등을 포함한 실세계 진술 검증의 특성과 과제를 분석하고자 한다.
• 증거 문서와 메타데이터를 모두 활용하는 최신 기술 모델을 개발하고 평가하고자 한다.
• 증거 순서 매기기와 진술 진실성 예측을 동시에 모델링하는 것이 별도의 예측 작업보다 성능을 향상시킬 수 있음을 입증하고자 한다.

제안 방법

• 26개의 사실 확인 웹사이트(예: Politifact, Snopes 등)에서 진술, 관련 증거 페이지, 그리고 풍부한 메타데이터(예: 연설자, 태그, 게시 일자 등)를 수집하여 데이터셋을 구축한다.
• 공동 표현을 공유하는 신경망을 사용하여 증거 페이지 순서 매기기와 진술 진실성 예측을 동시에 수행하는 새로운 공동 모델인 crawled_ranked + meta를 제안한다.
• BERT 기반 인코더를 사용하여 진술, 증거 페이지, 메타데이터(예: 연설자, 태그 등)를 인코딩하고, 분류 성능 향상을 위해 레이블 임베딩을 적용한다.
• 다중 작업 학습(MTL) 프레임워크를 사용하여 다수의 도메인을 동시에 학습함으로써 일반화 능력과 성능을 향상시킨다.
• 증거 인코딩, 메타데이터, 레이블 임베딩이 모델 성능에 기여하는 정도를 평가하기 위해 추론 실험을 실시한다.
• 다양한 도메인에서 마이크로 및 매크로 F1 점수를 사용하여 모델을 훈련 및 평가하며, 예측 혼동 및 실패 케이스에 대한 세부 분석을 수행한다.

실험 결과

연구 질문

• RQ1 실세계 증거 페이지와 메타데이터의 포함 여부가 진술 진실성 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ2 동시에 증거 페이지 순서 매기기와 진실성 예측을 수행하는 공동 모델이 별도로 처리하는 모델보다 성능이 뛰어나게 되는가?
• RQ3 연설자, 태그, 카테고리 등 다양한 메타데이터 유형 중 어느 것이 진실성 예측 성능에 더 큰 기여를 하는가?
• RQ4 진술 길이, 엔티티 특이성, 증거 겹침 정도가 모델 정확도와 혼동 패턴에 어떤 영향을 미치는가?
• RQ5 현재 모델이 모호하거나 복잡한 진술에 대해 주로 나타내는 주요 실패 유형은 무엇인가?

주요 결과

• 제안된 공동 모델인 crawled_ranked + meta는 매크로 F1 점수 49.2%를 기록하여 모든 기존 기준 모델보다 뚜렷한 성능 향상을 보였다.
• 증거 페이지 인코딩이 성능 향상에 크게 기여하였으며, 최고의 모델은 단순 진술만을 사용하는 기준 모델보다 큰 격차로 성능이 뛰어났다.
• 메타데이터, 특히 주제 태그가 성능 향상에 크게 기여하였으며, 전체 메타데이터 인코딩이 메타데이터 없이 사용하는 경우보다 높은 매크로 F1 점수를 기록했다.
• 증거 겹침이 높고 정보가 풍부한 태그를 가진 진술에서 모델 성능이 가장 뛰어났으며, 긴 복잡한 진술과 모호한 증거에서는 어려움을 겪었다.
• 가장 흔한 혼동은 '거의 참'과 '반은 참'과 같이 유사한 레이블 간에 발생하여, 미세한 수준의 진실성 분류에 어려움이 있음을 보여주었다.
• 레이블 수가 많은 도메인(예: tron, snes)은 성능이 낮았고, 일부 작은 도메인은 진술의 명시적 표현 덕분에 완벽한 점수를 기록했다.