[논문 리뷰] SemEval-2017 Task 8: RumourEval: Determining rumour veracity and support for rumours

Leon Derczynski, Kalina Bontcheva외 4명|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2017. 04. 20.

Misinformation and Its Impacts참고 문헌 18인용 수 25

한 줄 요약

이 논문은 SemEval-2017 공동 과제인 RumourEval을 제시하며, 소셜 미디어에서 루머의 진위성과 사용자 태도를 탐지하기 위한 대규모 데이터셋과 두 가지 과제를 도입한다. 과제는 태도 탐지(지지, 부정, 질문, 의견)와 진위성 분류에 집중하며, 딥 러닝과 특징 공학을 활용한 최신 기술들이 강력한 성능을 보였지만, 진위성 예측은 여전히 도전 과제로 남아 있다.

ABSTRACT

Media is full of false claims. Even Oxford Dictionaries named "post-truth" as the word of 2016. This makes it more important than ever to build systems that can identify the veracity of a story, and the kind of discourse there is around it. RumourEval is a SemEval shared task that aims to identify and handle rumours and reactions to them, in text. We present an annotation scheme, a large dataset covering multiple topics - each having their own families of claims and replies - and use these to pose two concrete challenges as well as the results achieved by participants on these challenges.

연구 동기 및 목표

• 자연어 처리 기술을 활용해 소셜 미디어에서 루머를 탐지하고 검증하기 위한 공동 과제를 개발하기 위해.
• 다양한 주제를 포함한 대규모 루머 및 사용자 반응 데이터셋을 구축하여 태도(지지, 부정, 질문, 의견)와 진위성에 대해 애너테이션을 수행하기 위해.
• 두 가지 하위 과제인 태도 분류(SDQC)와 원천 루머의 진위성 분류에 대해 시스템을 평가하기 위해.
• 커뮤니티 기반 평가를 위한 벤치마크를 제공함으로써 가짜 뉴스 탐지 분야의 연구를 촉진하기 위해.
• 구조화된 논의 분석을 통해 저널리즘, 재난 대응 및 오락성 정보 억제와 같은 분야의 응용을 지원하기 위해.

제안 방법

• 소셜 미디어의 트리 구조적 대화 스레드를 사용하며, 각 응답은 원본 루머에 대해 지지(S), 부정(D), 질문(Q), 의견(C)로 레이블링된다.
• 참가자들은 네 클래스 SDQC 프레임워크를 사용해 각 응답 트윗의 태도를 분류하는 것을 목표로 한다.
• 진위성 분류의 경우, 시스템은 외부 자원을 허용하는 개방형(외부 자원 허용) 또는 비개방형(외부 자원 불허용) 설정에서 원천 루머가 진실, 거짓, 또는 확인되지 않음임을 예측한다.
• 데이터셋은 실제 사건들 다수를 포함한 수천 개의 문서로 구성되며, 품질을 확보하기 위해 저널리스트와 NLP 전문가의 애너테이션을 포함한다.
• 시스템들은 LSTMs, CNNs, SVMs, 사전 학습된 단어 임베딩(예: word2vec) 등을 포함한 다양한 기법을 활용하며, 특징 공학은 신념, 지식, 의심 신호에 중점을 둔다.
• 클래스 불균형 문제는 주로 진위성 분류 과제에서 리샘플링 및 신뢰도 캘리브레이션 기법을 통해 다루어진다.

실험 결과

연구 질문

• RQ1 소셜 미디어 대화에서 사용자 태도를 지지, 부정, 질문, 의견으로 정확하게 분류할 수 있는가?
• RQ2 딥 러닝과 전통적 기계학습 모델은 텍스트 콘텐츠와 논의적 맥락으로부터 루머의 진위성을 얼마나 효과적으로 예측할 수 있는가?
• RQ3 외부 지식 자원은 개방형 설정에서 진위성 분류 성능을 얼마나 향상시키는가?
• RQ4 신념, 의심, 거부와 같은 언어적 신호는 태도 및 진위성 탐지에 어떤 기여를 하는가?
• RQ5 대화 구조(예: 중첩된 응답)는 태도 및 진위성 분류 성능 향상에 어떤 역할을 하는가?

주요 결과

• 태도 분류에서 최고 성능을 낸 시스템(Turing)은 사전 학습된 단어 임베딩을 활용한 LSTMs를 사용하여 순차적 논의 맥락을 효과적으로 모델링함으로써 높은 성능을 달성했다.
• 특징 공학을 광범위하게 활용한 시스템—특히 신념, 지식, 의심 신호에 중점을 둔—은 뛰어난 성능을 보였으며, UWaterloo와 ECNU에서 이를 확인할 수 있었다.
• 진위성 분류에서 비개방형 설정의 베이스라인(0.571 F1)은 참가자 전원에 의해 뛰어넘어졌으며, NileTMRG는 0.536 F1, IKM는 0.536 F1을 기록하여 클래스 불균형에도 불구하고 강력한 학습 능력을 보였다.
• 개방형 설정의 진위성 분류에서는 ECNU가 0.464 F1을 기록했고, DFKI-DKT는 0.393 F1을 기록하여 외부 자원이 일부 시스템의 성능 향상에 기여했음을 보여주었다.
• 진전이 있었음에도 불구하고, 진위성 분류 과제에서 어느 시스템도 다수 클래스 베이스라인을 초월하지 못했으며, 이는 과제의 본질적 난이도를 시사한다.
• 이 데이터셋과 공동 과제 결과는 향후 루머 탐지 및 오락성 정보 분석 분야의 연구를 위한 견고한 벤치마크를 제공한다.