[論文レビュー] Different Absorption from the Same Sharing: Sifted Multi-task Learning for Fake News Detection

Lianwei Wu, Yuan Rao+3 more|arXiv (Cornell University)|Sep 4, 2019

Misinformation and Its Impacts参考文献 41被引用数 8

ひとこと要約

本稿では、ゲートおよびアテンション機構を用いて、フェイクニュース検出とスタンドポイント検出の2つのタスク間で共有される特徴をフィルタリングし、選択的に配布する、選択的共有層を備えたスィーティングマルチタスク学習フレームワークを提案する。この手法は、特徴の関連性を向上させ、ノイズを低減することで、RumourEvalおよびPHEMEデータセットにおいてそれぞれ0.87%および1.31%のF1スコア向上を達成し、最先端の性能を実現した。

ABSTRACT

Recently, neural networks based on multi-task learning have achieved promising performance on fake news detection, which focus on learning shared features among tasks as complementary features to serve different tasks. However, in most of the existing approaches, the shared features are completely assigned to different tasks without selection, which may lead to some useless and even adverse features integrated into specific tasks. In this paper, we design a sifted multi-task learning method with a selected sharing layer for fake news detection. The selected sharing layer adopts gate mechanism and attention mechanism to filter and select shared feature flows between tasks. Experiments on two public and widely used competition datasets, i.e. RumourEval and PHEME, demonstrate that our proposed method achieves the state-of-the-art performance and boosts the F1-score by more than 0.87%, 1.31%, respectively.

研究の動機と目的

• 既存のマルチタスク学習モデルにおける制限、すなわち共有特徴がフィルタリングされておらず、無関係または有害な情報を含む可能性があることに対処する。
• ステンドポイント検出と共同で学習することで、補完的な信頼性の信号を活用し、フェイクニュース検出の性能を向上させる。
• タスク固有の関連性に基づいて、特徴を知的にフィルタリングし、焦点を当てる選択的共有層を設計する。
• ゲートおよびアテンション機構の可視化を通じて、モデルの解釈可能性と特徴選択の理解を向上させる。
• テキストおよびステンドポイント入力における長距離依存関係を捉えるために、トランスフォーマーに基づく符号化の有効性を示す。

提案手法

• 共有表現層の直後に、ゲーティング機構を備えたゲート共有セルと、自己アテンション機構を備えたアテンション共有セルから構成される選択的共有層を導入する。
• ゲート共有セルを用いて、各特徴マップに対してバイナリゲート重みを学習することで、無関係またはノイジーな共有特徴を抑制する。
• アテンション共有セルを用いて、ターゲットタスクに有益な特徴に対して動的に高いアテンション重みを割り当てる。
• 両方のタスク（フェイクニュース検出およびステンドポイント検出）の入力シーケンスを符号化するためにトランスフォーマー符号化器を適用し、長距離依存関係のモデリングを改善する。
• フェイクニュース検出とステンドポイント分類の損失を同時に最適化するマルチタスク学習目的関数を用いて、モデルをエンドツーエンドで訓練する。
• アテンション可視化およびゲート重み分析を用いて、タスク間での特徴選択行動を解釈する。

実験結果

リサーチクエスチョン

• RQ1 選択的共有メカニズムにより、不要または有害な共有特徴をフィルタリングすることで、フェイクニュース検出の性能が向上するか？
• RQ2 選択的共有層におけるゲートおよびアテンション機構は、異なるタスクに適した有用な特徴をどのように区別するか？
• RQ3 副次的タスクとしてのステンドポイント検出を統合することで、フェイクニュース検出の性能はどの程度向上するか？
• RQ4 学習されたアテンション重みおよびゲート値は、共有表現におけるタスク固有の特徴重要度をどの程度反映しているか？
• RQ5 このマルチタスク設定において、トランスフォーマー符号化器を用いることで、従来のRNNまたはCNN符号化器と比較して特徴表現がどのように向上するか？

主な発見

• 提案されたスィーティングマルチタスク学習モデルは、RumourEvalおよびPHEMEの両データセットで最先端の性能を達成した。
• 前回のSOTA手法と比較して、RumourEvalではF1スコアが0.87%向上し、PHEMEでは1.31%向上した。
• ゲート共有セルは、共有表現内での無関係なトークン（例：'what'、'scary'、'fact'）を効果的に抑制した。
• アテンション共有セルは、タスク固有の信頼性指標に注目した：フェイクニュース検出では'live coverage'、ステンドポイント検出では'shut down'に高い注目を示した。
• 可視化により、選択的共有層がプライベート特徴とフィルタリング済み共有特徴を組み合わせることで、特徴の多様性と関連性が向上していることが確認された。
• トランスフォーマー符号化器は、長距離依存関係のモデリングを改善し、並列処理を促進することで、全体的な性能向上に寄与した。