[논문 리뷰] Call Attention to Rumors: Deep Attention Based Recurrent Neural Networks for Early Rumor Detection

Tong Chen, Lin Wu외 4명|arXiv (Cornell University)|2017. 04. 20.

Misinformation and Its Impacts참고 문헌 33인용 수 20

한 줄 요약

이 논문은 소셜 미디어의 순차적 게시물에서 시간적 표현을 학습하기 위해 LSTMs 내부의 소프트 어텐션 메커니즘을 활용하는 딥 어텐션 기반 순환 신경망인 CallAtRumors를 제안한다. 높은 텍스트 중복성에도 불구하고 핵심적이고 구별되는 특징에 집중함으로써, Weibo에서 F-측정치 0.8672, 샘플 데이터셋에서 0.9061의 성능을 기록하며 최신 기술(SOTA)을 초월한다. 평균적으로 인간의 사실 확인 시간보다 최대 20.47시간 빨리 루머를 탐지한다.

ABSTRACT

The proliferation of social media in communication and information dissemination has made it an ideal platform for spreading rumors. Automatically debunking rumors at their stage of diffusion is known as extit{early rumor detection}, which refers to dealing with sequential posts regarding disputed factual claims with certain variations and highly textual duplication over time. Thus, identifying trending rumors demands an efficient yet flexible model that is able to capture long-range dependencies among postings and produce distinct representations for the accurate early detection. However, it is a challenging task to apply conventional classification algorithms to rumor detection in earliness since they rely on hand-crafted features which require intensive manual efforts in the case of large amount of posts. This paper presents a deep attention model on the basis of recurrent neural networks (RNN) to learn extit{selectively} temporal hidden representations of sequential posts for identifying rumors. The proposed model delves soft-attention into the recurrence to simultaneously pool out distinct features with particular focus and produce hidden representations that capture contextual variations of relevant posts over time. Extensive experiments on real datasets collected from social media websites demonstrate that (1) the deep attention based RNN model outperforms state-of-the-arts that rely on hand-crafted features; (2) the introduction of soft attention mechanism can effectively distill relevant parts to rumors from original posts in advance; (3) the proposed method detects rumors more quickly and accurately than competitors.

연구 동기 및 목표

• 높은 볼륨과 중복성으로 인해 수작업 특징 공학이 비현실적인 소셜 미디어에서의 조기 루머 탐지 문제를 해결하기 위해.
• 순차적 게시물의 장거리 시간적 의존성을 효과적으로 포착할 수 있는 유연하고 종단 간(end-to-end) 딥 러닝 모델을 개발하기 위해.
• 진화하는 루머 논의에서 가장 관련성이 높은 단어와 어구에 선택적으로 어텐션을 기울임으로써 탐지 정확도와 조기 탐지 능력을 향상시키기 위해.
• 대규모이고 중복된 소셜 미디어 데이터에서의 성능를 유지하면서 수작업 특징에 대한 의존도를 줄이기 위해.

제안 방법

• 모델은 순차적 소셜 미디어 게시물을 문맥적 히든 표현으로 인코딩하기 위해 양방향 LSTM을 사용한다.
• 루머 탐지에 대한 관련성에 따라 시간 단계별로 동적으로 어텐션 가중치를 할당하기 위해 LSTM 출력에 소프트 어텐션 메커니즘을 적용한다.
• 어텐션 가중치는 LSTM 히든 상태를 기반으로 피드포워드 네트워크를 통해 계산되며, 이로써 핵심 어구에 집중하고 중복된 콘텐츠에서 노이즈를 감소시킬 수 있다.
• 어텐션 처리된 표현은 풀링되어 최종 분류 레이어를 거쳐 게시물 시퀀스가 루머인지 여부를 예측한다.
• 모델는 순환 역전파(backpropagation through time)를 사용한 교차 엔트로피 손실을 기반으로 종단 간(end-to-end)으로 훈련된다.
• 텍스트 특징는 차원을 줄이면서 의미적 내용을 유지하는 게시물의 TF-IDF 벡터로 표현된다.

실험 결과

연구 질문

• RQ1 수작업 특징에 의존하는 전통적 방법에 비해, 딥 어텐션 기반 RNN 모델은 루머를 더 이르고 정확하게 탐지할 수 있는가?
• RQ2 소프트 어텐션 메커니즘은 중복된 소셜 미디어 게시물 내에서 구별되는 핵심 어구를 효과적으로 식별하고 강조하는가?
• RQ3 바이러스성 루머 논의에서 흔한 높은 텍스트 중복성 환경에서도 모델의 성능 유지 정도는 어느 정도인가?
• RQ4 모델의 조기 탐지 능력은 인간의 사실 확인 시간대 및 다른 최신 기술(SOTA) 방법과 비교해 어떻게 되는가?

주요 결과

• Weibo 데이터셋에서 CallAtRumors는 정밀도 87.10%, 재현율 86.34%, F-측정치 0.8672를 기록하여 최신 기술(SOTA)을 초월했다.
• 1,193개의 루머와 6,387개의 비루머를 포함한 샘플 데이터셋에서 CallAtRumors는 F-측정치 0.9061을 기록했으며, CERT의 0.8801보다 높았다.
• 모델는 루머 발생 후 평균 20.47시간의 지연 시간으로 루머를 탐지했으며, 인간의 평균 사실 확인 시간(54–72시간)보다 훨씬 이르렀다.
• 학습 데이터의 10–20%에서 CallAtRumors는 Twitter 및 Weibo 데이터셋에서 ML-GRU보다 정밀도 5%, 재현율 4% 높은 성능을 보이며 조기 탐지 능력이 뛰어나다는 것을 입증했다.
• 어텐션 시각화 결과, 모델이 'disqualified', 'Trump'와 같은 독특한 키워드를 효과적으로 강조하고 반복적인 표현은 억제함을 확인했다.
• 어텐션 메커니즘이 텍스트 중복성에 대한 모델의 강인성을 향상시켜, 이벤트 내 80%의 게시물이 중복일 경우에도 우수한 특징 추출 능력을 유지함을 보였다.