[論文レビュー] BotMoE: Twitter Bot Detection with Community-Aware Mixtures of Modal-Specific Experts

Yuhan Liu, Zhaoxuan Tan+4 more|arXiv (Cornell University)|Apr 13, 2023

Misinformation and Its Impacts被引用数 4

ひとこと要約

BotMoEは、コミュニティに配慮した混合エキスパートフレームワークを提案し、偽のTwitterボットを検出するためにメタデータ、テキストコンテンツ、グラフ構造を統合的にモデル化する。モダリティ固有のエンコーダーとコミュニティに配慮したMoEレイヤーを用いることで、一般化性能とロバストネスを向上させ、3つのベンチマークで最先端の性能を達成するとともに、改ざんされた特徴量や多様なコミュニティに対しても優れた対応を実現する。

ABSTRACT

Twitter bot detection has become a crucial task in efforts to combat online misinformation, mitigate election interference, and curb malicious propaganda. However, advanced Twitter bots often attempt to mimic the characteristics of genuine users through feature manipulation and disguise themselves to fit in diverse user communities, posing challenges for existing Twitter bot detection models. To this end, we propose BotMoE, a Twitter bot detection framework that jointly utilizes multiple user information modalities (metadata, textual content, network structure) to improve the detection of deceptive bots. Furthermore, BotMoE incorporates a community-aware Mixture-of-Experts (MoE) layer to improve domain generalization and adapt to different Twitter communities. Specifically, BotMoE constructs modal-specific encoders for metadata features, textual content, and graphical structure, which jointly model Twitter users from three modal-specific perspectives. We then employ a community-aware MoE layer to automatically assign users to different communities and leverage the corresponding expert networks. Finally, user representations from metadata, text, and graph perspectives are fused with an expert fusion layer, combining all three modalities while measuring the consistency of user information. Extensive experiments demonstrate that BotMoE significantly advances the state-of-the-art on three Twitter bot detection benchmarks. Studies also confirm that BotMoE captures advanced and evasive bots, alleviates the reliance on training data, and better generalizes to new and previously unseen user communities.

研究の動機と目的

• 高度に発展したTwitterボットがメタデータ、テキスト、ネットワーク特徴量を改ざんすることで検出を回避するという課題に対処すること。
• ボット行動が顕著に異なる多様なTwitterユーザーコミュニティにおいて、モデルの一般化性能を向上させること。
• マルチモーダル統合を活用してデータ効率を高めることで、大規模なラベル付き学習データへの依存度を低減すること。
• 未知のコミュニティに適応可能で、洗練されたボットの偽装を効果的に回避できる、よりロバストな検出フレームワークの開発

提案手法

• BotMoEは、ユーザーメタデータ、テキストコンテンツ、グラフ構造をそれぞれ独立して処理する3つのモダリティ固有のエンコーダーを採用する。
• コミュニティに配慮した混合エキスパート（MoE）レイヤーは、構造的および行動的特徴に基づき、ユーザーをコミュニティ固有のエキスパートネットワークに動的にルーティングする。
• 各エキスパートネットワークは、特定のコミュニティ内でのボットパターンの検出に特化しており、局所的な検出精度とドメイン適応性を向上させる。
• エキスパート統合レイヤーは、全モダリティからの表現を統合し、クロスモダリティの一貫性を測定することで、検出の信頼性を向上させる。
• ルーティング機構は、グラフ構造から得られるコミュニティ埋め込みに基づき、ユーザーを最も関連性の高いエキスパートに割り当てるように学習する。
• フレームワークは、マルチモーダル表現の整合性を促進し、一般化性能を向上させるために、対照的損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルでコミュニティに配慮したモデルは、従来の単一または二モーダル手法を上回り、高度なTwitterボットを効果的に検出できるか？
• RQ2 推論時に以前に見られなかったユーザーコミュニティに、コミュニティに配慮したMoEレイヤーはどの程度適応できるか？
• RQ3 高い検出精度を維持しつつ、大規模なラベル付き学習データへの依存度をどの程度低減できるか？
• RQ4 異なるモダリティ（テキスト、メタデータ、グラフ）は検出にどの程度寄与しているか。また、モデルは最も情報量の多い特徴量を特定できるか？
• RQ5 特徴量の改ざんがモデル性能に与える影響は何か。また、マルチモーダル一貫性モデリングにより、BotMoEはどの程度の回避を防げるか？

主な発見

• BotMoEは、3つの主要なTwitterボット検出ベンチマークで最先端の性能を達成し、F1スコアおよびAUCにおいて顕著に優れた結果を示した。
• 本モデルは、以前に見られなかった新しいユーザーコミュニティへの一般化性能が優れており、強力なドメイン適応能力を示している。
• 広範なアブレーションスタディにより、コミュニティに配慮したMoEレイヤーとエキスパート統合機構が、特に特徴量改ざんの処理において性能向上に不可欠であることが確認された。
• 統合レイヤーのアテンション重みから、メタデータとグラフ特徴量がテキストよりもより信頼性が高いことが示された。これにより、マルチモーダル一貫性の重要性が浮き彫りになった。
• テキストコンテンツが誤ってコピーされたり、誤解を招く内容であっても、構造的およびメタデータの手がかりを活用することで、誤検出を低減した。
• 本フレームワークは、限られたラベル付きデータでも高い性能を維持できることから、データ効率が向上しており、実世界の展開において極めて重要である。