[논문 리뷰] RP-DNN: A Tweet level propagation context based deep neural networks for early rumor detection in Social Media

Jie Gao, Sooji Han외 2명|arXiv (Cornell University)|2020. 02. 28.

Misinformation and Its Impacts참고 문헌 52인용 수 22

한 줄 요약

이 논문은 문자 수준의 양방향 언어 모델과 스택형 LSTM을 결합한 하이브리드 딥 뉴럴 네트워크인 RP-DNN을 제안한다. 이 모델은 텍스트 내용과 소셜-시간적 확산 맥락(답글, 재트윗, 메타데이터 포함)을 모델링하여 트윗 수준에서 루머를 탐지한다. 대규모 다중 이벤트 데이터셋을 사용한 이산적 교차검증(leave-one-out cross-validation)을 통해 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하며, 광범위한 확산 이전에 알려지지 않은 루머를 조기에 탐지한다.

ABSTRACT

Early rumor detection (ERD) on social media platform is very challenging when limited, incomplete and noisy information is available. Most of the existing methods have largely worked on event-level detection that requires the collection of posts relevant to a specific event and relied only on user-generated content. They are not appropriate to detect rumor sources in the very early stages, before an event unfolds and becomes widespread. In this paper, we address the task of ERD at the message level. We present a novel hybrid neural network architecture, which combines a task-specific character-based bidirectional language model and stacked Long Short-Term Memory (LSTM) networks to represent textual contents and social-temporal contexts of input source tweets, for modelling propagation patterns of rumors in the early stages of their development. We apply multi-layered attention models to jointly learn attentive context embeddings over multiple context inputs. Our experiments employ a stringent leave-one-out cross-validation (LOO-CV) evaluation setup on seven publicly available real-life rumor event data sets. Our models achieve state-of-the-art(SoA) performance for detecting unseen rumors on large augmented data which covers more than 12 events and 2,967 rumors. An ablation study is conducted to understand the relative contribution of each component of our proposed model.

연구 동기 및 목표

• 루머 확산 초반 단계에서 제한적이고 노이즈가 많으며 불완전한 정보만 제공될 때 조기에 루머 탐지(ERD)하는 과제를 해결하기 위해.
• 텍스트 내용 뿐 아니라 답글과 재트윗과 같은 사회-시간적 확산 패tern을 고려한 트윗 수준의 ERD 시스템을 개발하기 위해.
• 원천 콘텐츠, 대화형 콘텐츠, 메타데이터와 같은 다수의 관련 입력을 통합하여 통합적이고 노이즈에 강건한 표현을 생성하는 맥락 인식 딥 러닝 모델을 구축하기 위해.
• 12개 이상의 실제 루머 사건과 2,967개의 루머를 포함하는 대규모 증강 데이터셋을 활용해 일반화 능력과 강건성을 향상시키기 위해.
• 다양한 입력 모odal리티(예: 답글, 재트윗, 메타데이터)에서 동시에 맥락 표현을 학습하는 데에 다층적 어텐션 메커니즘이 얼마나 효과적인지 입증하기 위해.

제안 방법

• 모델은 원천 트윗의 텍스트 콘텐츠를 인코딩하기 위해 작업 특화의 문자 기반 양방향 언어 모델을 사용하여 세밀한 언어 패턴을 포착한다.
• 스택형 장기 단기 기억(_Long Short-Term Memory_, LSTM) 네트워크를 활용해 답글 및 재트윗 체인을 포함한 사회적 맥락의 순차적 동역학을 모델링한다.
• 사회적 맥락은 두 구성 요소로 분해된다: 대화형 콘텐츠(CC), 즉 논의의 흐름을 나타내며, 사회적 맥락 메타데이터(CM), 즉 시간, 구조, 사용자 수준의 신호를 포함한다.
• 다층 어텐션 메커니즘을 사용해 다중 맥락 입력(SC, CC, CM)에 동시에 어텐션을 적용함으로써, 모델이 관련된 확산 패턴에 집중하고 노이즈를 억제할 수 있도록 한다.
• 텍스트적 표현과 사회-시간적 표현을 통합하여 맥락 인식 임베딩 공간에 통합함으로써, 불완전하거나 노이즈가 많은 데이터에 대한 강건성을 향상시킨다.
• 모델는 7개의 공개 루머 데이터셋을 대상으로 엄격한 이산적 교차검증(LOO-CV) 설정을 사용해 훈련 및 평가되며, 구성 요소 기여도를 검증하기 위한 광범위한 추상화 연구(ablation studies)를 수행한다.

실험 결과

연구 질문

• RQ1 텍스트 콘텐츠와 사회-시간적 확산 맥락을 모두 통합한 딥 러닝 모델이 트윗 수준에서 조기에 루머 탐지 성능을 향상시킬 수 있는가?
• RQ2 단어 수준의 모델에 비해 작업 특화의 문자 수준 양방향 언어 모델이 루머를 시사하는 미세한 언어적 신호를 얼마나 잘 포착할 수 있는가?
• RQ3 다층 어텐션 메커니즘이 답글, 재트윗, 메타데이터와 같은 이질적인 입력에서 동시에 학습할 수 있는 능력에 얼마나 기여하는가?
• RQ4 시간, 사용자 활동 등의 사회적 맥락 메타데이터를 통합하면 루머 확산의 초기 단계에서 탐지 정확도가 향상되는가?
• RQ5 특히 훈련 데이터가 제한된 상황에서, 제안된 모델은 다양한 알려지지 않은 루머 사건에 얼마나 일반화 가능한가?

주요 결과

• RP-DNN는 12개 이상의 실제 루머 사건과 2,967개의 루머를 포함하는 대규모 증강 데이터셋에서 트윗 수준의 조기 루머 탐지에서 최신 기술 수준의 성능을 달성하며, 기존 최신 기술 수준의 모델들을 능가한다.
• 이산적 교차검증 설정이 엄격한 상황에서도 알려지지 않은 루머에 대한 탐지 정확도가 크게 향상되어, 강력한 일반화 능력을 입증한다.
• 추상화 연구를 통해 문자 수준 언어 모델과 다층 어텐션 메커니즘이 성능에 핵심적인 역할을 한다는 것이 확인되었으며, 각 구성 요소가 최종 결과에 의미 있는 기여를 한다.
• 사회적 맥락 메타데이터(CM)와 대화형 콘텐츠(CC)의 통합은 특히 노이즈가 많거나 정보가 희박한 초기 단계 상황에서 탐지 강건성 향상에 명백한 기여를 한다.
• 더 세밀한 트윗 수준에서 작동하지만, 최신 기술 수준의 이벤트 수준 루머 탐지 시스템과 유사한 성능을 달성하여 조기 탐지의 효과성을 입증한다.
• 루머 탐지에 특화된 태스크 특화의 미세조정된 언어 모델을 사용할 경우, 일반적인 사전 훈련된 모델보다 더 높은 성능을 달성함으로써 도메인 특화 적응의 가치를 입증한다.