[논문 리뷰] Automated Fact Checking: Task formulations, methods and future directions

James Thorne, Andreas Vlachos|arXiv (Cornell University)|2018. 06. 20.

Misinformation and Its Impacts참고 문헌 29인용 수 130

한 줄 요약

이 설문은 자동 사실 확인을 위한 NLP 및 관련 분야의 작업 형식화와 방법론을 통합하고, 증거를 핵심 구분 요소로 강조하며 향후 NLP 방향을 제시합니다.

ABSTRACT

The recently increased focus on misinformation has stimulated research in fact checking, the task of assessing the truthfulness of a claim. Research in automating this task has been conducted in a variety of disciplines including natural language processing, machine learning, knowledge representation, databases, and journalism. While there has been substantial progress, relevant papers and articles have been published in research communities that are often unaware of each other and use inconsistent terminology, thus impeding understanding and further progress. In this paper we survey automated fact checking research stemming from natural language processing and related disciplines, unifying the task formulations and methodologies across papers and authors. Furthermore, we highlight the use of evidence as an important distinguishing factor among them cutting across task formulations and methods. We conclude with proposing avenues for future NLP research on automated fact checking.

연구 동기 및 목표

• NLP, ML, 지식 표현, 저널리즘 간 자동 사실 확인을 위해 정의와 작업 형식화를 명확히 하고 통합한다.
• 사실 확인에 사용되는 증거의 역할과 유형을 살펴보고 이것이 입력과 출력에 어떻게 영향을 미치는지
• 데이터셋, 모델, 평가 패러다임을 검토하여 격차와 향후 연구 방향을 식별한다.

제안 방법

• 입력을 텍스트 주장, 삼중항(triples), 또는 문서로 분류하고 grounding/disambiguation 필요성을 논의한다.
• 지식 그래프, 텍스트 소스, 사전 사실 확인된 저장소를 포함한 증거 소스를 조사한다.
• 이진, 서수, 다중 라벨 및 점수 기반 판정과 해당 평가 신호를 비교한다.
• 감독 학습이 지배적 접근 방식이며 증거 검색 및 함의/랭킹 방법이 어떻게 통합되는지 논의한다.
• FEVER 유사 설정에서 문서 검색, 문장 선택, 텍스트 함의 모델과 같은 파이프라인 아키텍처를 강조한다.

실험 결과

연구 질문

• RQ1 자동 사실 확인 연구 전반에서 공통적으로 사용되는 입력과 출력은 무엇인가?
• RQ2 어떤 증거 유형이 사용되며 이것이 모델 설계 및 평가에 어떤 영향을 미치는가?
• RQ3 데이터셋은 사실 확인 모델의 개발과 평가에 어떤 영향을 미치는가?
• RQ4 주요 방법론적 접근 방식(예: 텍스트 함의, 지식 그래프)은 무엇이며 그 한계는 무엇인가?
• RQ5 확장 가능하고 신뢰할 수 있는 자동 사실 확인을 위한 미래의 NLP 방향은 무엇인가?

주요 결과

• 증거 기반 접근 방식은 작업 형식 전반에 걸쳐 중심이며, 지식 그래프, 텍스트 소스, 사전 사실 확인된 주장들이 핵심 입력으로 작용한다.
• 다양한 출력은 이진 라벨에서 다중 클래스 및 점수 기반 판정까지 다양하며, FEVER 유사 작업은 판정과 함께 증거 문장을 필요로 한다.
• 데이터셋의 크기와 증거의 가용성은 사실 확인을 위한 머신러닝 접근의 타당성에 영향을 준다.
• 감독 학습이 현재 방법을 지배하며 종종 검색, 접지( grounding ), 서사나 출처 고려가 보강된다.
• 원 제작자 프로필, 신뢰도 신호, 지식 베이스의 한계에 따른 윤리적 및 근거 제약이 생긴다.