[논문 리뷰] Contradiction Detection for Rumorous Claims

Piroska Lendvai, Uwe D. Reichel|arXiv (Cornell University)|2016. 11. 08.

Misinformation and Its Impacts참고 문헌 23인용 수 9

한 줄 요약

이 논문은 트위터에서 유포되는 루머의 모순을 탐지하기 위해 일관된 3방향 텍스트 함의 인식(RTE) 프레임워크를 제안한다. 이는 독립적인 트윗과 스레드 형식의 답글을 구분한다. 간단한 문자열 및 품사(POS) 수준의 유사도 특징을 사용하여, 주장 대상과 대화 구조를 암묵적으로 모델링함으로써, 희소하고 비대칭적인 데이터에서 Nearest Centroid보다 Random Forest가 더 뛰어난 성능을 보인다.

ABSTRACT

The utilization of social media material in journalistic workflows is increasing, demanding automated methods for the identification of mis- and disinformation. Since textual contradiction across social media posts can be a signal of rumorousness, we seek to model how claims in Twitter posts are being textually contradicted. We identify two different contexts in which contradiction emerges: its broader form can be observed across independently posted tweets and its more specific form in threaded conversations. We define how the two scenarios differ in terms of central elements of argumentation: claims and conversation structure. We design and evaluate models for the two scenarios uniformly as 3-way Recognizing Textual Entailment tasks in order to represent claims and conversation structure implicitly in a generic inference model, while previous studies used explicit or no representation of these properties. To address noisy text, our classifiers use simple similarity features derived from the string and part-of-speech level. Corpus statistics reveal distribution differences for these features in contradictory as opposed to non-contradictory tweet relations, and the classifiers yield state of the art performance.

연구 동기 및 목표

• 소셜 미디어 게시물에서의 텍스트 모순을 식별함으로써 루머의 진위성 검증을 향상시키기 위해.
• 독립적 트윗과 스레드 형식의 답글이라는 두 가지 다른 맥락에서 모순을 모델링하여, 각각 다른 구조적 및 의미적 특성을 지닌다.
• 암묵적으로 주장을 표현하고 대화 구조를 반영하는, RTE를 사용한 통합적이고 일반적인 추론 프레임워크를 개발하기 위해.
• 복잡한 의미 분석을 피하고 표면 수준의 텍스트 유사도만을 사용하여, 노이즈가 많고 간결한 사용자 생성 콘텐츠를 다루기 위해.
• 이벤트 보류 및 클래스 균형 설정 모두에서 성능을 평가하여 다양한 루머 시나리오에 걸쳐 강건성을 확보하기 위해.

제안 방법

• 저자들은 모순 탐지를 3방향 RTE 작업으로 프레임워크화하여, 텍스트 쌍 간의 함의(ENT), 모순(CON), 중립(UNK)을 구분한다.
• 주장과 반응 트윗 간의 어휘적 및 문법적 겹침을 캡처하기 위해 문자열 수준 및 품사(POS) 수준의 유사도 특징을 사용한다.
• 로컬 정렬(local alignment)을 적용하여 단어 순서의 변동에도 불구하고 유사도를 유지함으로써, 재구성되거나 재구성된 내용에 대한 강건성을 향상시킨다.
• 이 접근법은 두 가지 상황을 구분한다: iPosts(독립적 게시물)와 Threads(답글 기반 대화), 각각 다른 주장 대상의 가시성과 극성 제약 조건을 가진다.
• 실제 트위터 데이터를 기반으로 한 이벤트별 유사도 교차검증을 통해, 감독 학습 분류기인 Random Forest와 Nearest Centroid를 훈련하고 평가한다.
• 클래스 불균형 문제는 재배치 없이 다운샘플링을 통해 해결하여, RTE의 세 클래스 간 균형 잡힌 성능을 확보한다.

실험 결과

연구 질문

• RQ1 독립적이고 스레드 형식의 소셜 미디어 게시물 간에 일관된 방식으로 모순 탐지를 어떻게 모델링할 수 있는가?
• RQ2 간단한 표면 수준의 유사도 특징(문자열 및 POS)이 의미적 또는 문법적 방법보다 모순 탐지에서 얼마나 뛰어나게 작용하는가?
• RQ3 주장 대상과 대화 구조를 암묵적 맥락으로 포함시킬 경우 RTE 기반의 모순 탐지 성능가 어떻게 향상되는가?
• RQ4 노이즈가 많고 짧은 텍스트에서 모순 탐지와 비모순 탐지 간의 성능 격차는 어느 정도인가?
• RQ5 데이터 희소성과 클래스 불균형 조건 하에서, Random Forest와 Nearest Centroid 간의 분류기 성능는 어떻게 다른가?

주요 결과

• Random Forest 분류기는 Threads 데이터셋에서 최신 기술 수준의 성능을 기록하여 가중 F1 스코어 0.43을 달성했으며, 희소하고 고차원적인 특징 벡터를 처리할 수 있는 능력 덕분이다.
• iPosts 데이터셋에서는 Nearest Centroid가 더 큰, 덜 비대칭적인 데이터에서의 클래스 중심 표현이 우수하여 가중 F1 스코어 0.47을 기록했다.
• 모든 설정에서 CON 클래스(모순)가 가장 낮은 성능를 보였으며, 이는 모순 탐지가 RTE 중 가장 도전적인 클래스임을 시사한다.
• ENT 및 UNK 클래스는 특징 공간에서 더 명확하게 분리되어 있었지만, CON 클래스는 양쪽과 상당한 겹침을 보이며 분류가 더 어려웠다.
• 로컬 정렬은 재구성되거나 재구성된 내용 간의 유사도 유지에 기여하여, 특징 분포도에서 laProp 박스플롯 높이가 높아진 것으로 확인되었다.
• 예측 가능한 이벤트에 대한 일반화는 안정적이었으며, 보류된 이벤트 평가에서 성능가 일관되었고, 실제 루머 탐지에서의 강건성을 확인했다.