[논문 리뷰] RumourEval 2019: Determining Rumour Veracity and Support for Rumours

Genevieve Gorrell, Kalina Bontcheva외 4명|arXiv (Cornell University)|2018. 09. 18.

Misinformation and Its Impacts참고 문헌 14인용 수 17

한 줄 요약

RumourEval 2019는 2017년 벤치마크를 확장하여 Reddit와 Twitter에서 다국어 데이터를 추가하고 통합된 입장 및 진실성 분류 작업을 도입함으로써 자동화된 소문 검증을 발전시키기 위한 공동 과제를 제안한다. 이 작업은 진실성 예측을 지원하기 위해 개선된 입장 탐지에 중점을 두며, 평가에 매크로 F1과 RMSE를 사용하고, 다중모odal 및 다국어 소문 분석 분야의 혁신을 장려하기 위해 최신 기준 성능을 제공한다.

ABSTRACT

This is the proposal for RumourEval-2019, which will run in early 2019 as part of that year's SemEval event. Since the first RumourEval shared task in 2017, interest in automated claim validation has greatly increased, as the dangers of "fake news" have become a mainstream concern. Yet automated support for rumour checking remains in its infancy. For this reason, it is important that a shared task in this area continues to provide a focus for effort, which is likely to increase. We therefore propose a continuation in which the veracity of further rumours is determined, and as previously, supportive of this goal, tweets discussing them are classified according to the stance they take regarding the rumour. Scope is extended compared with the first RumourEval, in that the dataset is substantially expanded to include Reddit as well as Twitter data, and additional languages are also included.

연구 동기 및 목표

• 소셜 미디어에서의 가짜 뉴스 및 오락성 정보의 증가하는 도전에 대응하기 위해 자동화된 소문 검증 시스템을 발전시키기 위해.
• 2017년 RumourEval 공동 과제를 확장하여 Reddit 데이터와 새로운 언어(러시아어, 덴마크어)를 통합함으로써 데이터셋의 다양성과 현실성 향상하기 위해.
• 하위 과제 A(입장 분류)와 B(진실성 예측)를 하나의 과제로 통합하여 입장 정보를 활용한 진실성 탐지 향상에 기여하는 시스템 개발을 장려하기 위해.
• 참가자들이 입장 출력을 진실성 예측 모델에 통합할 수 있도록 하여 정보 활용 방식의 혁신을 촉진하기 위해.
• 공개적이고 재현 가능한 연구를 지원하기 위해, Twitter 및 Reddit 데이터 정책을 준수하는 총괄 데이터셋을 공개하고, 삭제된 콘텐츠 처리를 위한 메커니즘을 마련하기 위해.

제안 방법

• 소스 트윗과 Twitter 및 Reddit의 토론 스레드를 수집하고, 진실성 레이블(진실/거짓/확인 불가)이 부여된 소문에 중점을 두고 주석을 붙임.
• 사용자 반응을 네 가지 입장 카테고리로 분류: 지지, 부정, 질문, 댓글로, 평가에 있어 첫 세 가지에 중점을 둠.
• 입장 분류에 대해 매크로 평균 F1 스코어를 사용하고, '댓글' 클래스를 제외하여 정보성 있는 반응을 우선시함.
• 진실성 예측에 대해 마이크로 평균 정확도와 신뢰도 스코어에 대한 제곱근 평균 제곱오차(RMSE)를 사용함.
• 입장 및 진실성 과제 모두에 대해 RumourEval 2017에서 최고 성능을 보인 모델 기반의 최신 기준 성능을 제공함. 딥러닝 및 앙상블 모델 포함.
• 데이터 무결성을 확보하기 위해 삭제된 트윗 여부를 점검하고, Twitter 개발자 정책을 준수하며, 필요 시 데이터셋을 업데이트할 수 있는 메커니즘을 마련함.

실험 결과

연구 질문

• RQ1 입장 분류(지지/부정/질문)는 소문의 진실성 예측 정확도를 어느 정도 향상시킬 수 있는가?
• RQ2 Reddit 데이터와 다국어 콘텐츠(Rusian, Danish)의 포함 여부는 소문 탐지에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 입장과 진실성 예측을 통합한 단일 과제 설계는 보다 효과적이고 혁신적인 시스템 아키텍처 개발에 기여할 수 있는가?
• RQ4 다양한 기계학습 및 딥러닝 모델은 다국어 및 다중 플랫폼 데이터에서 소문 검증에 어떻게 성능을 발휘하는가?
• RQ5 신뢰도 스코어 校정(제곱근 평균 제곱오차(RMSE)로 측정)은 자동 소문 검증 시스템의 실무적 구현에 어떤 영향을 미치는가?

주요 결과

• 2019년 RumourEval 공동 과제는 Reddit과 다국어 콘텐츠(Rusian, Danish)를 포함하여 데이터셋을 확장하여 다양성과 현실성의 향상을 크게 이룸.
• 입장 분류 성능은 지지, 부정, 질문 클래스에 대해 매크로 F1 스코어로 평가되었으며, '댓글' 클래스는 제외되어 정보성 있는 반응을 우선시함.
• 진실성 예측은 마이크로 평균 정확도와 신뢰도 스코어에 대한 RMSE를 사용하여 이진 분류와 세밀한 성능 평가를 모두 가능하게 함.
• LSTM 및 CNN 아키텍처를 포함한 최고 성능 모델 기반의 최신 기준 성능 시스템을 제공하여 방법론적 혁신을 지원함.
• 과제 설계는 입장 출력을 진실성 모델에 통합하도록 유도하여 실제 워크플로우에서 입장 신호가 진실성 평가에 기여하는 방식을 반영함.
• Twitter 개발자 정책을 준수하기 위한 데이터 거버넌스 프로토콜을 구현하였으며, 삭제된 트윗 점검 및 데이터셋 업데이트 메커니즘을 마련함.