[논문 리뷰] Fake News Detection as Natural Language Inference

Kai Yang, Timothy Niven외 1명|arXiv (Cornell University)|2019. 07. 17.

Topic Modeling참고 문헌 12인용 수 23

한 줄 요약

이 논문은 자연어 추론(NLI)을 통한 중국어 뉴스 제목용 가짜 뉴스 탐지 시스템을 제안한다. 이는 편집된 NLI 모델과 BERT의 앙상블, 가짜 레이블링 및 전이 기반 후처리를 사용하며, 88.063%의 테스트 정확도를 기록하여 WSDM 2019 가짜 뉴스 분류 경쟁에서 3위를 차지했다. 이는 겹치는 테스트 샘플에 대해 전이 관계를 활용하여 신뢰도를 향상시킨 덕분이다.

ABSTRACT

This report describes the entry by the Intelligent Knowledge Management (IKM) Lab in the WSDM 2019 Fake News Classification challenge. We treat the task as natural language inference (NLI). We individually train a number of the strongest NLI models as well as BERT. We ensemble these results and retrain with noisy labels in two stages. We analyze transitivity relations in the train and test sets and determine a set of test cases that can be reliably classified on this basis. The remainder of test cases are classified by our ensemble. Our entry achieves test set accuracy of 88.063% for 3rd place in the competition.

연구 동기 및 목표

• 자연어 추론(NLI)을 통합 프레임워크로 사용하여 중국어 뉴스 제목의 가짜 뉴스 탐지 과제를 해결하는 것.
• 다양한 강력한 NLI 모델과 BERT의 앙상블 학습을 통해 분류 정확도를 향상시키는 것.
• 초기 앙상블에서 유도된 소프트 레이블을 활용한 가짜 레이블링과 반복적 미세조정을 통해 성능을 향상시키는 것.
• 겹치는 훈련 및 테스트 데이터에서의 전이 관계를 활용하여 일부 테스트 샘플에 대해 신뢰도 높은 고정확도 예측을 수행하는 것.
• WSDM 2019 가짜 뉴스 분류 경쟁에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 가짜 뉴스 탐지를 삼중 분류 자연어 추론(NLI) 과제로 간주함: 전제(기존의 가짜 뉴스 제목), 가설(후보 제목), 레이블(함의, 모순, 중립).
• Tencent, SGNS, FastText를 포함한 단어 및 문자 수준의 임베딩을 사용하여 중국어 텍스트에서 고성능 NLI 모델(예: 분해 가능 주의, ESIM, 밀집 RNN/CNN)과 BERT를 훈련함.
• 검증 정확도와 드롭아웃을 활용한 조기 정지 및 정규화를 적용하며, LightGBM와 피드포워드 네트워크를 사용해 1단계 모델 예측을 앙상블함.
• 1단계 앙상블에서 유도된 소프트 가짜 레이블을 활용하여 두 단계 훈련 과정에서 모든 NLI 모델과 BERT를 재미세조정함.
• 전이 추론 적용: A가 B를 함의하고 B가 C를 함의한다면 A는 C를 함의해야 함(양성 전이); A가 B와 모순되고 B가 C를 함의한다면 A는 C와 모순되어야 함(음성 전이).
• 임계값 탐색을 통해 결정된 가중치(0.79 및 0.21)를 사용해 두 번째 단계 앙상블 및 BERT의 최종 예측을 가중 평균으로 융합하며, 6,888개의 테스트 샘플에 대해 분류기 출력 대신 전이 기반 예측을 적용함.

실험 결과

연구 질문

• RQ1 자연어 추론 모델이 중국어 뉴스 제목의 가짜 뉴스 탐지에 필요한 의미 관계를 효과적으로 포착할 수 있는가?
• RQ2 앙상블 학습과 가짜 레이블링이 저자원, 多국어 가짜 뉴스 탐지 과제에서 성능 향상에 얼마나 기여하는가?
• RQ3 겹치는 훈련 및 테스트 데이터에서의 전이 관계는 고신뢰도 예측을 생성하는 데 얼마나 신뢰할 수 있는가?
• RQ4 전이 규칙을 통한 후처리가 훈련된 분류기의 성능을 크게 초월할 수 있는가?
• RQ5 가짜 뉴스 탐지 파이프라인에서 다수의 NLI 모델과 BERT를 융합하는 최적의 블렌딩 전략은 무엇인가?

주요 결과

• 최종 시스템은 88.063%의 테스트 세트 정확도를 기록하여 WSDM 2019 가짜 뉴스 분류 경쟁에서 3위를 차지함.
• 1단계 앙상블(NLI 모델과 BERT)은 86.741%의 정확도를 기록하였으며, 가짜 레이블을 활용한 두 번째 단계 미세조정 이후 87.990%로 향상됨.
• 최적의 가중치(0.79 및 0.21)를 사용해 두 번째 단계 예측과 BERT를 융합한 결과, 전이 후처리 이전에 88.019%의 정확도를 기록함.
• 6,888개의 테스트 샘플에 대해 전이 관계를 적용한 결과, 양성 전이의 99.9%와 음성 전이의 99.7%가 유지되었으며, 이로 인해 정확도가 0.04% 향상되어 88.063%에 도달함.
• 전이 기반 예측만을 사용한 후기 제출은 93%의 정확도를 기록하여, 이는 겹치는 데이터에서 메서드의 높은 신뢰도를 입증함.
• 저자들은 전이 규칙을 통해 약 70만 개의 '일致' 쌍과 약 19,000개의 '불일치' 쌍을 추가로 생성할 수 있을 것으로 추정하며, 이는 훈련 데이터를 크게 확장시킬 수 있음.