[논문 리뷰] CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media

Momchil Hardalov, Anton Chernyavskiy외 3명|arXiv (Cornell University)|2022. 10. 10.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 트위터에서 실시된 커뮤니티 사실 확인 작업을 기반으로 330,000개의 트윗–사실 확인 기사 쌍을 추출한 대규모 데이터셋인 CrowdChecked을 소개한다. 이 데이터셋은 소음이 많은 데이터를 레이블링하기 위해 원거리 지도학습을 사용한다. 저자들은 기존 최고 성능(SOTA) 대비 2점 향상된 0-샷 사실 확인 성능을 달성하기 위해 수정된 자가 적응 학습 방법을 제안한다. 이는 커뮤니티 기반 사실 확인 데이터를 활용해 강력한 탐지 시스템을 훈련시키는 데서의 가치를 입증한다.

ABSTRACT

While there has been substantial progress in developing systems to automate fact-checking, they still lack credibility in the eyes of the users. Thus, an interesting approach has emerged: to perform automatic fact-checking by verifying whether an input claim has been previously fact-checked by professional fact-checkers and to return back an article that explains their decision. This is a sensible approach as people trust manual fact-checking, and as many claims are repeated multiple times. Yet, a major issue when building such systems is the small number of known tweet--verifying article pairs available for training. Here, we aim to bridge this gap by making use of crowd fact-checking, i.e., mining claims in social media for which users have responded with a link to a fact-checking article. In particular, we mine a large-scale collection of 330,000 tweets paired with a corresponding fact-checking article. We further propose an end-to-end framework to learn from this noisy data based on modified self-adaptive training, in a distant supervision scenario. Our experiments on the CLEF'21 CheckThat! test set show improvements over the state of the art by two points absolute. Our code and datasets are available at https://github.com/mhardalov/crowdchecked-claims

연구 동기 및 목표

• 소셜 미디어에서 이미 확인된 사실로 판단된 주장을 탐지하기 위한 훈련 데이터 부족 문제를 해결하기 위해.
• 트위터에서의 커뮤니티 사실 확인 행동을 활용하여 대규모이면서 소음이 있는 트윗–사실 확인 기사 쌍 훈련 데이터셋을 구축하기 위해.
• 소음이 많은 원거리 지도학습 데이터를 효과적으로 학습하기 위한 강력한 방법을 개발하기 위해.
• 커뮤니티 기반 사실 확인 링크를 추출하는 것이 기존 기준 대비 상당한 성능 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• 사용자가 주장 트윗에 Snopes 사실 확인 기사 링크를 첨부한 트위터 대화를 추출하여 핵심 주장을 포함한 트윗과 해당 기사 쌍을 추출한다.
• 원거리 지도학습을 사용해 추출된 쌍을 레이블링하고, 훈련 세트를 3,500~50,000개의 예제로 생성하기 위해 두 가지 다른 전략을 적용한다.
• 모델 최적화 과정에서 소음의 영향을 줄이기 위해 손실 가중치를 동적으로 조정하는 수정된 자가 적응 학습 프레임워크를 제안한다.
• 자신의 적응 학습 절차를 사용하여 BERT와 RoBERTa 모델을 CrowdChecked 데이터셋에 맞추어 미세조정하여 주장 매칭 성능을 향상시킨다.
• 역전파 과정에서 신뢰할 수 있는 예측을 우선시하고 소음 있는 예제를 억제하기 위해 추가 손실 함수 가중치를 통합한다.

Figure 1: Crowd fact-checking thread on Twitter. The first tweet ( Post w/ claim ) makes the claim that Ivermectin causes sterility in men , which then receives replies . A (crowd) fact-checker replies with a link to a verifying article from a fact-checking website. We pair the article with the twee

실험 결과

연구 질문

• RQ1 소셜 미디어에서의 커뮤니티 기반 사실 확인 행동을 효과적으로 추출하여 이전에 확인된 주장을 탐지하기 위한 대규모 훈련 데이터셋을 구축할 수 있는가?
• RQ2 커뮤니티 사실 확인 스레드에서 유도된 소음 있는 트윗–기사 쌍에 대해 원거리 지도학습 전략은 얼마나 효과적인가?
• RQ3 자신의 적응 학습이 원거리 지도학습 환경에서 소음 있는 레이블의 영향을 완화하는 데 효과적인가?
• RQ4 CrowdChecked 데이터셋에 대한 미세조정이 표준 벤치마크에서 기존 SOTA 방법 대비 측정 가능한 성능 향상을 이끌 수 있는가?

주요 결과

• CrowdChecked 데이터셋은 사용자가 Snopes 사실 확인 기사 링크를 첨부한 트위터 대화에서 유도된 330,000개의 트윗–사실 확인 기사 쌍을 포함한다.
• 제안된 자가 적응 학습 방법은 CLEF'21 CheckThat! 테스트 세트에서 기존 최고 성능(SOTA) 대비 2점의 절대적 향상을 달성했다.
• MRR, P@1, MAP@5 등의 다양한 지표에서 일관된 성능 향상을 보였으며, 강력한 기준 대비 최대 4점 향상된 성과를 기록했다.
• 두 가지 다른 레이블링 전략을 사용한 원거리 지도학습은 3,500~50,000개의 예제를 포함하는 훈련 세트를 생성했으며, 이는 효과적인 모델 미세조정을 가능하게 했다.
• CrowdChecked 데이터셋에 대한 미세조정은 수동으로 코딩된 작은 데이터셋에 훈련된 모델보다 뚜렷이 뛰어난 성능을 보였으며, 커뮤니티 사실 확인 행동을 추출하는 것이 실용적임을 입증했다.

Figure 2: Histogram of the year of publication of the Snopes articles included in CrowdChecked (our dataset) vs. those in CheckThat ’21 .