[논문 리뷰] Fully Automated Fact Checking Using External Sources

Georgi Karadzhov, Preslav Nakov외 3명|arXiv (Cornell University)|2017. 10. 01.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 외부 웹 자료를 활용하여 주장의 진위를 확인하기 위해 딥러닝과 커널 기반 분류를 사용하는 경량이며 완전 자동화된 사실 확인 프레임워크를 제시한다. 주장 표현과 검색 스니펫, 전체 텍스트 조각에서 유래한 증거를 LSTM 기반 텍스트 인코딩을 통해 통합하여, 무거운 특징 공학 없이도 루머 탐지 및 커뮤니티 질문-답변 질문의 사실 확인 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Given the constantly growing proliferation of false claims online in recent years, there has been also a growing research interest in automatically distinguishing false rumors from factually true claims. Here, we propose a general-purpose framework for fully-automatic fact checking using external sources, tapping the potential of the entire Web as a knowledge source to confirm or reject a claim. Our framework uses a deep neural network with LSTM text encoding to combine semantic kernels with task-specific embeddings that encode a claim together with pieces of potentially-relevant text fragments from the Web, taking the source reliability into account. The evaluation results show good performance on two different tasks and datasets: (i) rumor detection and (ii) fact checking of the answers to a question in community question answering forums.

연구 동기 및 목표

• 정제된 지식 기반 자료가 아닌 외부 웹 자료에 의존하는 일반 목적의 자동 사실 확인 시스템을 개발하기 위해.
• 사용자 정의 특징 공학을 최소화하기 위해 딥 네트워크를 사용하여 주장과 증거의 작업별 특수 표현을 학습하기 위해.
• 루머 탐지 및 커뮤니티 질문-답변 포럼에서의 답변 사실 확인이라는 두 가지 다른 작업에 대해 프레임워크를 평가하기 위해.
• 이전에 탐색되지 않은 분야인 커뮤니티 질문-답변(cQA)에서 사실성 평가를 위한 새로운 고품질 데이터셋을 구축하고 공개하기 위해.
• 최소한의 가정과 학습 데이터를 사용하여 다양한 도메인과 주장 유형에 걸쳐 모델의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 시간적 지표와 같은 작업별 특수 특징을 피하기 위해, tf-idf 가중 키워드를 사용하여 주어진 주장을 쿼리로 변환한다.
• 생성된 쿼리를 사용해 검색 엔진(Google/Bing)에서 관련 문서를 검색하며, 스니펫과 전체 텍스트의 핵심 문장에 중점을 둔다.
• 양방향 LSTM 네트워크를 사용하여 주장, 검색된 스니펫, 웹 페이지에서 유의미한 텍스트 조각의 조밀한 의미 표현을 학습한다.
• 문서 신뢰도를 기반으로 증거에 가중치를 적용하여 신뢰도를 표현 학습 과정에 통합한다.
• 학습된 임베딩과 쌍별 유사도 특징(예: 주장과 증거 간 코사인 유사도)을 조합하여 작업별 특수 표현을 만든다.
• 결합된 특징 집합에 대해 RBF 커널을 사용한 서포트 벡터 머신(SVM)을 사용하여 주장이 참인지 거짓인지 분류한다.

실험 결과

연구 질문

• RQ1 정제된 지식 기반 자료에 의존하지 않고 웹 검색 결과와 딥러닝만을 사용하는 완전 자동화된 사실 확인 시스템이 강력한 성능을 달성할 수 있는가?
• RQ2 LSTM과 커널 기반 분류를 사용한 엔드 투 엔드 학습 접근 방식이 다양한 사실 확인 작업 전반에서 주장 검증에 얼마나 효과적인가?
• RQ3 최소한의 특징 공학을 갖춘 경량 모델이 루머 탐지 및 cQA 사실 확인과 같은 다양한 도메인에 걸쳐 얼마나 일반화되는가?
• RQ4 증거 표현에 소스 신뢰도를 통합할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ5 커뮤니티 질문-답변에서 사실성에 대한 새로운 고품질 데이터셋이 사실 확인 모델의 훈련과 평가에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 프레임워크는 루머 탐지 및 cQA 사실 확인 작업 모두에서 뛰어난 성능을 보이며, 다양한 도메인으로의 일반화 능력을 입증한다.
• Popat 등(2017)의 연구보다 훈련 데이터가 6배 적은 상황에서도 성능 대 데이터 효율성 면에서 기존 연구를 능가한다.
• LSTM 기반 의미 인코딩과 커널 기반 SVM 분류의 조합은 제한된 훈련 데이터 조건에서도 균형 잡히고 정확한 예측을 가능하게 한다.
• 검색 엔진 스니펫만으로도 우수한 성능을 달성하여 실용적 효율성과 확장성의 잠재력을 보여준다.
• cQA 사실성에 대한 새로운 고품질 데이터셋의 구축과 공개는 이전에 탐색되지 않은 분야에서 향후 연구를 위한 유의미한 기준을 제공한다.
• 이 방법은 마이크로블로그에서의 시간적 모델링 방법(예: Ma 등, 2015, 2016)과 수직적일 수 있으므로, 향후 하이브리드 시스템에서 이러한 방법과의 통합 가능성이 있다.