[論文レビュー] Explainable Rumor Detection using Inter and Intra-feature Attention Networks

Mingxuan Chen, Ning Wang+1 more|arXiv (Cornell University)|Jul 21, 2020

Misinformation and Its Impacts参考文献 47被引用数 8

ひとこと要約

本稿では、潜在的特徴、手作業で作成された特徴、ユーザーフィーチャーを二段階のアテンションメカニズム（特徴クラス間の相互アテンションと、各クラス内での内部アテンション）を用いて統合する、モジュラーで解釈可能な深層学習アーキテクチャを提案する。これによりFスコアと正答率が向上し、解釈可能な説明が可能になる。モデルは標準データセット上で11のベンチマーク手法を上回り、アテンション重みが特徴の重要性に関する透明な洞察を提供する。

ABSTRACT

With social media becoming ubiquitous, information consumption from this media has also increased. However, one of the serious problems that have emerged with this increase, is the propagation of rumors. Therefore, rumor identification is a very critical task with significant implications to economy, democracy as well as public health and safety. We tackle the problem of automated detection of rumors in social media in this paper by designing a modular explainable architecture that uses both latent and handcrafted features and can be expanded to as many new classes of features as desired. This approach will allow the end user to not only determine whether the piece of information on the social media is real of a rumor, but also give explanations on why the algorithm arrived at its conclusion. Using attention mechanisms, we are able to interpret the relative importance of each of these features as well as the relative importance of the feature classes themselves. The advantage of this approach is that the architecture is expandable to more handcrafted features as they become available and also to conduct extensive testing to determine the relative influences of these features in the final decision. Extensive experimentation on popular datasets and benchmarking against eleven contemporary algorithms, show that our approach performs significantly better in terms of F-score and accuracy while also being interpretable.

研究の動機と目的

• 多様な特徴クラスの統合を可能にする、モジュラーで拡張可能なリムール検出アーキテクチャの開発。
• アテンションメカニズムを用いて個々の特徴および特徴クラスの相対的重要性を定量化することで、リムール検出における解釈可能性の実現。
• 潜在的特徴、手作業で作成された特徴、ユーザーフィーチャーの各々がリムール分類性能に与える影響を実証的に評価すること。
• モデル意思決定のグローバル（平均ケース）およびローカル（個々のインスタンス）な解釈可能性を提供すること。
• 標準リムール検出データセット上で、提案モデルを11の最先端手法と比較すること。

提案手法

• 本アーキテクチャは、統一されたアテンションネットワーク（Unified-AttNet）を用い、3つの異なる特徴クラス（例：USE埋め込みによる潜在的特徴、品詞、センチメントなどの手作業で作成されたコンテンツ特徴、検証ステータス、フォロワー数などのユーザーフィーチャー）を処理する。
• 各特徴クラス内で個々の特徴の相対的重要性を計算するために、内部アテンション（intra-feature attention）を適用する。
• 3つの特徴クラス間で、各クラス（例：手作業で作成された特徴 vs. 潜在的特徴 vs. ユーザーフィーチャー）の相対的寄与度を決定するために、相互アテンション（inter-feature attention）を適用する。
• 自己アテンション（self-attention）メカニズムを用いて、リムール分類タスクに対する特徴の関連性に応じて動的に重みを付与する。
• 本アーキテクチャはモジュラー設計となっており、モデル全体の再学習を必要とせずに、新たな特徴クラスの追加が可能である。
• 説明はアテンション重みから得られ、インスタンスレベルおよび集計レベルで可視化・分析される。

実験結果

リサーチクエスチョン

• RQ1 リムール検出のための深層学習モデルを、新たな特徴クラスの統合を可能にするモジュラーかつ拡張可能なものとするにはどうすればよいか？
• RQ2 潜在的特徴、手作業で作成された特徴、ユーザーフィーチャーがリムール検出性能にどの程度寄与しているか、およびそれらの相対的重要性をどのように定量化できるか？
• RQ3 アテンションメカニズムは、インスタンスレベルおよび集計レベルの両方で、人間が理解可能な意味のある説明をリムール検出意思決定に提供できるか？
• RQ4 提案モデルは、既存の最先端のリムール検出手法と比較して、性能および解釈可能性の面で優れているか？
• RQ5 異なる種類のリムールおよびデータセットにおけるアテンション重みの分析から、特徴の重要性に関するどのような知見が得られるか？

主な発見

• 提案されたUnified-AttNetモデルは、標準リムール検出データセット上で11のベンチマークモデルの中で最高のFスコアと正答率を達成した。
• Fergusonサブデータセットのレコード番号94において、モデルは真のリムールを正しく分類し、手作業で作成された特徴に44.7%、潜在的特徴に30.8%、ユーザーフィーチャーに24.5%のアテンション重みを割り当てた。
• 内部アテンションにより、副詞（RB）、wh副詞（WRB）、三人称単数動詞（VBZ）が、正しく分類されたリムールにおける手作業で作成された特徴のうち44%の重みを占めていることが明らかになった。
• ユーザーフィーチャーにおいて、検証ステータス、フォロワー数、アカウント年数がそれぞれ60%、30%、10%のアテンション重みに寄与しており、意思決定におけるそれらの役割が示された。
• モデルは、ある例において会話スレッド内の返信（元のツイートではない）が最終検出結果の25.5%を占めることを示し、返信の文脈の重要性を強調した。
• 平均ケースのアテンション分析により、一貫した特徴の重要性のパターンが明らかとなり、モデル開発者が実証的影響に基づいて特徴を削除または優先順位を付けることが可能になった。