[논문 리뷰] FAKTA: An Automatic End-to-End Fact Checking System

Moin Nadeem, Wei Fang외 3명|arXiv (Cornell University)|2019. 06. 07.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

FAKTA는 문서 검색, 소스 신뢰성 평가, 입장 탐지 및 언어적 분석을 통합하여 주장의 사실성을 예측하고 문서 수준 및 문장 수준의 증거를 제공하는 엔드 투 엔드 사실 확인 시스템이다. Google 기반 검색과 이중 레이블 입장 분류 설정을 사용할 경우 FEVER 데이터셋에서 59.35%의 F1 (마크로) 성능을 달성한다.

ABSTRACT

We present FAKTA which is a unified framework that integrates various components of a fact checking process: document retrieval from media sources with various types of reliability, stance detection of documents with respect to given claims, evidence extraction, and linguistic analysis. FAKTA predicts the factuality of given claims and provides evidence at the document and sentence level to explain its predictions

연구 동기 및 목표

• 다양한 미디어 소스를 통해 가짜 뉴스의 증가하는 도전에 대응하기 위해 사실 확인 과정을 자동화한다.
• 문서 검색, 신뢰성 평가, 입장 탐지 및 증거 집합 등 분리된 사실 확인 구성 요소를 하나의 엔드 투 엔드 프레임워크로 통합한다.
• 최종 판정에 해당하는 관련 문서와 문장 수준의 근거를 강조하여 해석 가능한 예측을 제공한다.
• 주장과 문서 의미 정보 외에도 소스 신뢰성 및 언어적 특징을 통합하여 사실 확인 성능을 향상시킨다.

제안 방법

• 위키피디아와 메인스트림 미디어의 세 단계 신뢰성 등급에서 추출한 명시적 개체 및 품사 태그(명사(NN, NNS, NNP, NNPS), 형용사(JJ), 수사어(CD))를 활용한 질의 확장 기반으로 관련 문서를 검색한다.
• 제목과 본문 간 주장과 문서 간 고차별성 품사 태그의 겹침을 기반으로 한 재정렬 모델을 사용하며, 초기 Lucene 또는 Google API 점수에 의해 가중치를 조정한다.
• Bag of Words와 컬러션 신경망을 조합한 이중 수준의 딥러닝 모델을 사용하여 입장 탐지(동의, 반대, 논의)를 수행하며, 적대적 도메인 적응 기법을 통한 성능 향상이 이루어진다.
• 다양한 어휘집을 활용하여 검색된 문서의 스타일 및 의미적 특징을 분석하는 언어적 분석을 적용한다.
• 모든 검색된 문서의 입장 예측을 가중치 투표 메커니즘을 통해 집계하여 최종 주장의 사실성(지지, 반박, 증거 없음)을 결정한다.
• Media Bias/Fact Check(MBFC) 애너테이션에서 유래한 소스 신뢰성 점수를 통합하여 문서 관련성과 최종 판정에 미치는 영향을 가중치화한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 시스템이 문서 검색, 입장 탐지 및 증거 집합을 효과적으로 통합하여 해석 가능한 근거를 제공하는 방식으로 주장의 사실성을 예측할 수 있는가?
• RQ2 소스 신뢰성(높음, 혼합, 낮음)을 통합할 경우 자동화된 사실 확인 시스템의 성능과 내구성에 어떤 영향을 미치는가?
• RQ3 통합 프레임워크가 FEVER와 같은 벤치마크 데이터셋에서 사실 확인 파이프라인의 고립된 구성 요소보다 뛰어난 성능을 내는가?
• RQ4 품사 태그가 부여된 关련 키워드와 재정렬 모델을 활용할 경우 사실 확인 주장에 대한 검색 정밀도가 얼마나 향상되는가?
• RQ5 라벨이 부족한 상황에서 적대적 도메인 적응 기법이 입장 탐지 성능 향상에 얼마나 기여하는가?

주요 결과

• Google API를 사용한 검색과 이중 레이블 입장 분류(지지/반박) 설정에서 FAKTA는 FEVER 벤치마크에서 59.35%의 F1 (마크로) 점수를 기록하며 베이스라인 MLP 모델을 초월한다.
• Google 기반 검색과 삼중 레이블 입장 설정(지지, 반박, 증거 없음)을 사용할 경우 시스템은 41.21%의 정확도와 39.65%의 F1 (마크로) 점수를 기록하여 복잡한 주장에 대해 뛰어난 성능을 보인다.
• Lucene 대비 Google API를 사용한 문서 검색이 유의미하게 더 좋은 성능을 내며, 삼중 레이블 설정에서 F1 (마크로)는 2.5% 높고 정확도는 2.47% 높다.
• 레이블 공간을 두 개의 클래스(지지/반박)로 줄일 경우 성능이 크게 향상되며, 동일한 검색 설정에서 F1 (마크로)가 39.65%에서 59.35%로 증가한다.
• MBFC에서 유래한 소스 신뢰성 점수 통합은 신뢰할 수 있는 증거 우선순위를 정하는 데 시스템의 능력을 향상시키며, 예측의 해석 가능성과 내구성을 높인다.
• 모델이 생성한 문장 수준의 입장 근거는 의미 있는 설명을 제공하며, 문서 뷰에서 강조된 문장들이 주장과의 일치 또는 불일치를 명확히 나타낸다.