[논문 리뷰] Explainable Rumor Detection using Inter and Intra-feature Attention Networks

Mingxuan Chen, Ning Wang외 1명|arXiv (Cornell University)|2020. 07. 21.

Misinformation and Its Impacts참고 문헌 47인용 수 8

한 줄 요약

이 논문은 잠재적, 수작업으로 만든, 사용자 기반 특징을 이중 수준의 주의 메커니즘(특징 유형 간 상호주의 및 각 유형 내부의 내부주의)을 사용해 통합하는 모듈러하고 해석 가능한 딥러닝 아키텍처를 제안한다. 이는 F-스코어와 정확도를 향상시키면서도 해석 가능한 설명을 제공한다. 모델은 표준 데이터셋에서 11개의 벤치마크 방법보다 뛰어난 성능을 보였으며, 주의 가중치는 특징의 중요도에 대한 투명한 통찰을 제공한다.

ABSTRACT

With social media becoming ubiquitous, information consumption from this media has also increased. However, one of the serious problems that have emerged with this increase, is the propagation of rumors. Therefore, rumor identification is a very critical task with significant implications to economy, democracy as well as public health and safety. We tackle the problem of automated detection of rumors in social media in this paper by designing a modular explainable architecture that uses both latent and handcrafted features and can be expanded to as many new classes of features as desired. This approach will allow the end user to not only determine whether the piece of information on the social media is real of a rumor, but also give explanations on why the algorithm arrived at its conclusion. Using attention mechanisms, we are able to interpret the relative importance of each of these features as well as the relative importance of the feature classes themselves. The advantage of this approach is that the architecture is expandable to more handcrafted features as they become available and also to conduct extensive testing to determine the relative influences of these features in the final decision. Extensive experimentation on popular datasets and benchmarking against eleven contemporary algorithms, show that our approach performs significantly better in terms of F-score and accuracy while also being interpretable.

연구 동기 및 목표

• 다양한 특징 유형을 통합할 수 있도록 지원하는 모듈러하고 확장 가능한 루머 탐지 아키텍처를 개발하기 위해.
• 주의 메커니즘을 사용하여 개별 특징과 특징 유형의 상대적 중요도를 정량화함으로써 루머 탐지의 해석 가능성 제공하기 위해.
• 잠재적, 수작업으로 만든, 사용자 기반 특징이 루머 분류 성능에 미치는 영향을 실증적으로 평가하기 위해.
• 모델 결정에 대한 글로벌(평균 케이스) 및 로컬(개별 인스턴스) 해석 가능성 제공하기 위해.
• 표준 루머 탐지 데이터셋에서 제안된 모델을 11개의 최신 기술 기반 방법과 비교 평가하기 위해.

제안 방법

• 아키텍처는 잠재적 특징(예: USE 임베딩), 수작업으로 만든 콘텐츠 특징(예: 품사, 감성), 사용자 특징(예: 확인된 상태, 팔로워 수)이라는 세 가지 다른 특징 유형을 처리하는 통합 주의 네트워크(Unified-AttNet)를 사용한다.
• 각 특징 유형 내부에서 개별 특징의 상대적 중요도를 계산하기 위해 내부 주의가 적용된다.
• 세 가지 특징 유형 간에 주의가 적용되어 각 유형(예: 수작업 vs. 잠재적 vs. 사용자 특징)이 최종 예측에 기여하는 상대적 기여도를 결정한다.
• 모델은 자기 주의 메커니즘을 사용하여 루머 분류 작업에 대한 관련성에 따라 특징을 동적으로 가중한다.
• 아키텍처는 모듈러하게 설계되어 새로운 특징 유형을 전체 모델을 재학습하지 않고도 추가할 수 있다.
• 설명은 주의 가중치에서 유도되며, 이는 인스턴스 수준과 집합 수준에서 모두 시각화되고 분석된다.

실험 결과

연구 질문

• RQ1 어떻게 루머 탐지용 딥러닝 모델을 새로운 특징 유형을 통합할 수 있도록 모듈러하고 확장 가능하게 만들 수 있는가?
• RQ2 잠재적, 수작업으로 만든, 사용자 기반 특징이 루머 탐지 성능에 얼마나 기여하는가? 그리고 그 상대적 중요도는 어떻게 정량화할 수 있는가?
• RQ3 주의 메커니즘이 개별 인스턴스와 집합 수준에서 인간이 이해할 수 있는 의미 있는 설명을 제공할 수 있는가?
• RQ4 기존 최신 기술 기반 루머 탐지 방법과 비교할 때 제안된 모델의 성능과 해석 가능성은 어떠한가?
• RQ5 다양한 유형의 루머와 데이터셋에서 주의 가중치를 분석함으로써 특징 중요도에 대한 어떤 통찰을 얻을 수 있는가?

주요 결과

• 제안된 Unified-AttNet 모델은 표준 루머 탐지 데이터셋에서 11개의 벤치마크 모델 중에서 가장 높은 F-스코어와 정확도를 기록했다.
• Ferguson 하위데이터셋의 기록 번호 94에서, 모델은 진짜 루머를 올바르게 분류했으며, 이 경우 수작업 특징에 44.7%의 주의 가중치, 잠재적 특징에 30.8%, 사용자 특징에 24.5%의 주의 가중치를 할당했다.
• 내부 주의 분석을 통해 수작업 특징 내에서 부사(RB), wh-부사(WRB), 제3인칭 단수 동사(VBZ)가 올바르게 분류된 루머에서 44%의 가중치 기여를 했다.
• 사용자 특징의 경우, 확인된 상태, 팔로워 수, 계정 연령이 각각 60%, 30%, 10%의 주의 가중치 기여를 했으며, 이는 의사결정 과정에서의 역할을 나타낸다.
• 모델는 한 예시에서 대화 스레드의 반응(원본 트윗이 아닌)이 최종 탐지 결과의 25.5%를 차지함을 보여주었으며, 이는 반응의 맥락 중요성을 강조한다.
• 평균 케이스 주의 분석을 통해 일관된 특징 중요도 패턴을 확인했으며, 이는 모델 개발자가 경험적 영향에 기반해 특징을 제거하거나 우선순위를 정하는 데 도움이 된다.