[논문 리뷰] Mining Significant Microblogs for Misinformation Identification: An Attention-based Approach

Qiang Liu, Feng Yu외 2명|arXiv (Cornell University)|2017. 06. 20.

Misinformation and Its Impacts참고 문헌 41인용 수 11

한 줄 요약

이 논문은 콘텐츠 및 동적 시간 기반 주의 메커니즘을 통해 중요한 미크로블로깅을 선택함으로써 소셜 미디어에서 위성정보 식별을 위한 주의 기반 모델 AIM을 제안한다. 이 방법은 높은 영향력을 미치는 미크로블로깅에 집중함으로써 관련 없는 콘텐츠에서 발생하는 노이즈를 줄여, Weibo 및 Twitter 데이터셋에서 최신 기술보다 뛰어난 성능을 발휘한다.

ABSTRACT

With the rapid growth of social media, massive misinformation is also spreading widely on social media, such as microblog, and bring negative effects to human life. Nowadays, automatic misinformation identification has drawn attention from academic and industrial communities. For an event on social media usually consists of multiple microblogs, current methods are mainly based on global statistical features. However, information on social media is full of noisy and outliers, which should be alleviated. Moreover, most of microblogs about an event have little contribution to the identification of misinformation, where useful information can be easily overwhelmed by useless information. Thus, it is important to mine significant microblogs for a reliable misinformation identification method. In this paper, we propose an Attention-based approach for Identification of Misinformation (AIM). Based on the attention mechanism, AIM can select microblogs with largest attention values for misinformation identification. The attention mechanism in AIM contains two parts: content attention and dynamic attention. Content attention is calculated based textual features of each microblog. Dynamic attention is related to the time interval between the posting time of a microblog and the beginning of the event. To evaluate AIM, we conduct a series of experiments on the Weibo dataset and the Twitter dataset, and the experimental results show that the proposed AIM model outperforms the state-of-the-art methods.

연구 동기 및 목표

• 소셜 미디어 위성정보 탐지에서 노이즈가 많고 관련성이 없는 미크로블로깅이 유용한 신호를 압도하는 문제를 해결하기 위해.
• 전반적인 통계적 특징에 의존하는 대신 중요한 미크로블로깅에 집중하여 위성정보 식별을 향상시키기 위해.
• 텍스트 콘텐츠와 시간 역동성을 통합된 주의 메커니즘에 통합하여 더 나은 표현 학습을 위해.
• 사건 수준의 신뢰성 평가에서 이질적 요소나 기여도가 낮은 미크로블로깅의 영향을 줄이기 위해.
• 비판적인 사용자 기여도에 초점을 맞춤으로써 위성정보와 진실된 정보를 신뢰성 있게 구별할 수 있는 모델을 개발하기 위해.

제안 방법

• 제안된 AIM 모델은 이중 주의 메커니즘을 사용한다: 각 미크로블로깅의 텍스트 특징에 기반한 콘텐츠 주의와 사고에서 경과한 시간 간격에 기반한 동적 주의.
• 콘텐츠 주의는 각 미크로블로깅의 내용의 정보성 정도를 평가하기 위해 텍스트 임베딩을 사용하여 계산된다.
• 동적 주의는 사고의 시작에 가까운 시간에 게시된 미크로블로깅에 더 높은 가중치를 할당하여 그들이 사고 이해를 형성하는 데 기여할 가능성이 있음을 반영한다.
• 최종 주의 가중치는 콘텐츠 주의와 동적 주의를 조합하여 구한다. 이는 모델이 관련성과 시기적 적절성이 높은 미크로블로깅을 우선순위로 지정할 수 있도록 한다.
• 학습된 주의 가중치를 사용해 미크로블로깅의 가중 평균을 계산하여 분류를 위한 통합된 사고 수준의 표현을 생성한다.
• 모델은 Weibo 및 Twitter 데이터셋에서 엔드 투 엔드로 훈련되며, 주의 가중치의 시각화를 통해 해석 가능성의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 사회 미디어 사고 내에서 가장 중요한 미크로블로깅을 효과적으로 식별하여 위성정보 탐지 성능을 향상시킬 수 있는가?
• RQ2 콘텐츠 기반 주의와 시간 기반 주의를 통합함으로써 위성정보 탐지 모델의 성능 향상 정도는 어느 정도인가?
• RQ3 주의 메커니즘이 사고 수준의 위성정보 분류에서 노이즈가 많고 기여도가 낮은 미크로블로깅의 영향을 줄일 수 있는가?
• RQ4 주의 가중치는 인간의 신뢰성 및 사고의 중요성 평가와 어떻게 상관관계가 있는가?
• RQ5 제안된 모델은 Weibo 및 Twitter와 같은 다양한 소셜 미디어 플랫폼 간에서 일반화 가능한가?

주요 결과

• AIM 모델은 Weibo 및 Twitter 데이터셋 양쪽에서 최신 기술보다 위성정보 탐지 성능에서 뛰어나다.
• 주의 가중치의 시각화 결과 모델이 원본 미크로블로깅과 핵심적인 의심 또는 사실 확인 메시지를 올바르게 높은 중요도로 식별하고 있음을 확인했다.
• 사건을 의심하거나 질문하거나 부정하는 미크로블로깅이 높은 주의 점수를 받으며 인간의 직관적 판단과 일치한다.
• 사고의 원본 미크로블로깅은 일관되게 가장 높은 주의 가중치를 확보하여 사고 이해의 기초적 역할을 함을 시사한다.
• 모델은 유머러스한 도둑 이야기 같은 납득하기 어려운 진실된 이야기를 정확히 진실로 분류하여 이상한 콘텐츠에 대해서도 강건함을 입증했다.
• 동적 주의의 통합은 사고 타임라인에서 초기에 게시된 더 정보가 많을 가능성이 있는 포스트에 초점을 맞춰 성능 향상에 기여했다.