[논문 리뷰] Rumor Detection on Twitter Using Multiloss Hierarchical BiLSTM with an Attenuation Factor

Yudianto Sujana, Jiawen Li외 1명|arXiv (Cornell University)|2020. 10. 31.

Misinformation and Its Impacts참고 문헌 18인용 수 7

한 줄 요약

이 논문은 트위터에서 루머 탐지에 대해 감쇠 요소를 갖춘 다손실 계층적 양방향 장기 단기 기억망(BiLSTM) 모델을 제안한다. 게시물 수준과 이벤트 수준의 BiLSTM 모듈으로 네트워크를 구조화하고, 별도의 손실 함수를 적용하며, 게시물 수준에 감쇠 요소를 적용함으로써 특징 학습을 향상시키고 학습 시간을 단축시켜 두 개의 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 달성한다.

ABSTRACT

Social media platforms such as Twitter have become a breeding ground for unverified information or rumors. These rumors can threaten people's health, endanger the economy, and affect the stability of a country. Many researchers have developed models to classify rumors using traditional machine learning or vanilla deep learning models. However, previous studies on rumor detection have achieved low precision and are time consuming. Inspired by the hierarchical model and multitask learning, a multiloss hierarchical BiLSTM model with an attenuation factor is proposed in this paper. The model is divided into two BiLSTM modules: post level and event level. By means of this hierarchical structure, the model can extract deep in-formation from limited quantities of text. Each module has a loss function that helps to learn bilateral features and reduce the training time. An attenuation fac-tor is added at the post level to increase the accuracy. The results on two rumor datasets demonstrate that our model achieves better performance than that of state-of-the-art machine learning and vanilla deep learning models.

연구 동기 및 목표

• 기존 트위터 루머 탐지 모델에서 낮은 정밀도와 높은 학습 시간 문제를 해결하기 위해.
• 계층적 딥 러닝 아키텍처를 통해 제한된 텍스트 데이터로부터 특징 추출을 향상시키기 위해.
• 다중 손실 함수를 사용한 다중 작업 학습을 통해 모델 학습 효율성과 정확도를 향상시키기 위해.
• 게시물 수준에 감쇠 요소를 도입하여 특징 학습을 정교화하고 분류 성능을 향상시키기 위해.
• 실세계 루머 탐지 벤치마크에서 모델의 효과성을 검증하기 위해.

제안 방법

• 모델은 두 수준의 계층적 구조를 사용한다: 개별 트윗을 처리하는 게시물 수준 BiLSTM와 그들의 확산을 처리하는 이벤트 수준 BiLSTM.
• 각 수준은 전용 손실 함수—게시물 수준 손실과 이벤트 수준 손실—를 사용하여 다중 작업 학습을 가능하게 하고 특징 표현을 향상시킨다.
• 학습 중에 덜 신뢰성 있거나 노이즈가 많은 특징을 줄이기 위해 게시물 수준에 감쇠 요소를 적용하여 모델의 강건성을 향상시킨다.
• 계층적 설계 덕분에 루머 확산의 국소적(게시물 수준) 및 전반적(이벤트 수준) 맥락 패턴을 모두 포착할 수 있다.
• 두 수준을 동시에 최적화할 수 있도록 역전파를 사용한 엔드 투 엔드 학습을 수행하며, 병합된 다손실 최적화를 사용한다.
• 성능과 일반화 능력을 평가하기 위해 두 개의 공개된 루머 탐지 데이터셋에서 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 다손실 학습을 적용한 계층적 BiLSTM 아키텍처는 일반적인 딥 러닝 모델에 비해 루머 탐지 정확도를 향상시킬 수 있는가?
• RQ2 게시물 수준에 감쇠 요소를 포함시키면 모델 성능과 강건성이 향상되는가?
• RQ3 제안된 모델은 정밀도를 유지하거나 향상시키면서도 학습 시간을 줄일 수 있는가?
• RQ4 표준 벤치마크 데이터셋에서 최신 기술 기계 학습 및 딥 러닝 접근법에 비해 모델은 어떻게 비교되는가?
• RQ5 계층적 구조는 루머 탐지에서 제한된 텍스트 데이터로부터 특징 학습을 얼마나 향상시키는가?

주요 결과

• 감쇠 요소가 포함된 다손실 계층적 BiLSTM는 두 벤치마크 루머 탐지 데이터셋에서 최신 기술 모델보다 높은 F1 점수와 정밀도를 달성한다.
• 각 수준에서 별도의 손실 함수를 사용한 효율적인 다중 작업 학습 덕분에 학습 시간이 크게 단축된다.
• 게시물 수준의 감쇠 요소는 학습 중에 노이즈가 많거나 신뢰성이 떨어지는 특징을 억제함으로써 정확도 향상에 기여한다.
• 계층적 구조 덕분에 루머 확산의 마이크로 수준(개별 트윗) 및 마크로 수준(이벤트 확산) 패턴을 더 잘 포착할 수 있다.
• 두 데이터셋 모두에서 전통적인 기계 학습 및 표준 딥 러닝 기반 모델보다 F1 및 정확도 지표에서 뛰어난 성능을 보였다.
• 실증 결과는 다손실 학습과 계층적 모델링의 조합이 루머 탐지에서 뛰어난 일반화 능력과 강건성을 제공한다는 것을 확인한다.