[論文レビュー] Experiments in Detecting Persuasion Techniques in the News

Seunghak Yu, Giovanni Da San Martino+1 more|arXiv (Cornell University)|Nov 15, 2019

Misinformation and Its Impacts参考文献 11被引用数 16

ひとこと要約

本稿では、ニュース記事における特定のプロパガンダ技法を検出する細分化されたタスクを提案し、文レベルと断片レベル分類を統合的に活用することで、BERTベースのベースラインを上回るマルチグレインネルラルネットワークを導入する。モデルは断片レベル分類で22.58のF1スコア、文レベル分類で60.71のF1スコアを達成し、マスコミバイアスの検出における説明可能性を向上させる。

ABSTRACT

Many recent political events, like the 2016 US Presidential elections or the 2018 Brazilian elections have raised the attention of institutions and of the general public on the role of Internet and social media in influencing the outcome of these events. We argue that a safe democracy is one in which citizens have tools to make them aware of propaganda campaigns. We propose a novel task: performing fine-grained analysis of texts by detecting all fragments that contain propaganda techniques as well as their type. We further design a novel multi-granularity neural network, and we show that it outperforms several strong BERT-based baselines.

研究の動機と目的

• 粗粒度のプロパガンダ検出の限界を是正するため、断片レベルでの特定のプロパガンダ技法の同定に焦点を当てる。
• ユーザーがなぜ記事がプロパガンダ的とマークされたかを説明できる、より説明性の高いAIシステムを開発する。
• 断片レベルでの高品質で専門的なアノテーションを用いることで、遠隔監視からのノイズを低減する。
• ニュースコンテンツにおける洗練された説得技法を認識する能力をユーザーに訓練することで、より良いマスコミリテラシーを実現する。
• 451件のニュース記事にわたる18種類の異なるプロパガンダ技法をアノテートしたベンチマークデータセットを構築する。

提案手法

• 共有されたBERTコンテキスト埋め込みを用いて、文レベル分類（SLC）と断片レベル分類（FLC）を同時に実行する新しいマルチグレインネルラルネットワークを提案する。
• 文レベル予測からの情報フローを制御するゲート機構を導入し、非プロパガンダ的文をフィルタリングすることで、精度を向上させる。
• SLCにはバイナリクロスエントロピー、FLCにはカテゴリカルクロスエントロピーを組み合わせたハイブリッド損失関数を採用し、ハイパーパrameter α を用いてタスクのバランスを調整する。
• 部分的な一致に対する評価を可能にするために、断片予測の部分的信用を計算する文字レベルの重複関数 C(s,t,h) を適用する。
• ReLUおよびシグモイドゲートを用いて、文レベルからトークンレベル分類への情報フローを制御し、アブレーション実験でシグモイドが優れていることが示された。
• 3分割の訓練/開発/テスト分割を用い、451件のニュース記事に7,485件のプロパガンダ技法インスタンス（18種類）を含む、洗練されたデータセット上でBERTを微調整する。

実験結果

リサーチクエスチョン

• RQ1 標準的なBERTベースのモデルと比較して、マルチグレインネルラルネットワークは、ニュース記事における特定のプロパガンダ技法の検出を改善できるか？
• RQ2 文レベルの予測をゲートとして断片レベル分類に活用することで、プロパガンダ断片の検出における精度と再現率は向上するか？
• RQ3 文レベルと断片レベルの両タスクを共同で学習させることで、全体の性能と説明可能性はどの程度向上するか？
• RQ4 部分的重複に対する評価メトリクスが、細分化されたプロパガンダ検出におけるモデル性能の測定にどの程度有効か？
• RQ5 クラスの不均衡があるにもかかわらず、レアなプロパガンダ技法（例：イエスカーブ、レッドヘリング）を検出するために、モデルは一般化可能か？

主な発見

• シグモイドゲートを備えたマルチグレインモデルは、断片レベル分類（FLC）タスクで22.58のF1スコアを達成し、すべてのBERTベースのベースラインを上回った。
• トークンレベルの予測を活用したことで再現率が向上したため、BERTベースラインと比較して文レベル分類（SLC）のF1スコアは3.24ポイント向上（60.71）した。
• BERT-Granularityモデルは、文レベル出力を断片レベル分類のフィルタとして使用することで、FLCでわずかな改善（F1: 21.80）を達成した。
• ReLUゲートバージョンは、精度（23.98）は高いが再現率（20.33）は低く、シグモイドゲート（24.42 F1）に比べてバランスが悪いことが示された。
• イエスカーブ（15件）のようなレアな技法では、モデルの性能が限定的であり、リソースが少ないプロパガンダタイプにおける課題が浮き彫りになった。
• 重み付き損失（SLCにα=0.9、FLCにα=0.1）を用いた共同学習戦略により、クラスの不均衡が効果的に緩和され、全体の一般化性能が向上した。