[論文レビュー] All-in-one: Multi-task Learning for Rumour Verification

Elena Kochkina, Maria Liakata+1 more|arXiv (Cornell University)|Jun 10, 2018

Misinformation and Its Impacts参考文献 32被引用数 102

ひとこと要約

本論文は、 veracity classification を補助タスク（rumour detection と stance classification）と jointly training するマルチタスク学習フレームワークを提案し、RumourEval および PHEME データセットでの rumour verification 性能を向上させ、マルチタスクの利得に影響を与えるデータ特性を分析する。

ABSTRACT

Automatic resolution of rumours is a challenging task that can be broken down into smaller components that make up a pipeline, including rumour detection, rumour tracking and stance classification, leading to the final outcome of determining the veracity of a rumour. In previous work, these steps in the process of rumour verification have been developed as separate components where the output of one feeds into the next. We propose a multi-task learning approach that allows joint training of the main and auxiliary tasks, improving the performance of rumour verification. We examine the connection between the dataset properties and the outcomes of the multi-task learning models used.

研究の動機と目的

• rumour resolution を multi-task learning の問題として動機づけ、主タスクを veracity とし、auxiliary タスクが性能を向上させる可能性を formalize する。
• veracity を stance および/または detection と jointly training することが検証精度と macro-F のスコアにどのように影響するかを調査する。
• データセット特性（エントロピー、尖度、トークン種別比率）がマルチタスク学習の利得にどのように関連するかを評価する。
• strong baselines を含む最先端の veracity classifier および majority baselines と比較して、マルチタスクモデルを評価する。
• RumourEval と leave-one-event-out を用いた PHEME の異なるデータセット分割がモデル性能に与える影響を探る。

提案手法

• rumours を tweet branch としてモデル化する sequential branch-based LSTM アーキテクチャを使用する。
• veracity、stance、detection のタスク出力層をタスク別に用意した hard parameter sharing をマルチタスク設定で適用する。
• 与えられたインスタンスで unlabeled タスクの損失をスキップしつつ、タスク損失を合計した結合損失で学習する。
• 不均衡データに対する主指標として macro-F を第一指標とし、 accuracy と macro-averaged F1 を用いて評価する。PHEME では leave-one-event-out クロスバリデーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 Veracity を stance および/または detection と組み合わせたマルチタスク学習は、単一タスク学習より veracity 分類を改善するか。
• RQ2 最良の veracity 性能をもたらす補助タスクの設定はどれか（stance、detection、または両方）。
• RQ3 データセット特性は rumour verification におけるマルチタスク学習の有効性にどのように影響するか。
• RQ4 RumourEval および異なる PHEME のイベント分割（5 イベント対 9 イベント）で性能はどう変わるか。

主な発見

• マルチタスクモデルは PHEME および RumourEval データセットで一貫して単一タスクの veracity 分類器より性能を改善する。
• 3 タスク設定（veracity、stance、detection）は、単一タスクのベースラインより最も大きな改善をもたらす。
• MTL2（Veracity+Stance または Veracity+Detection）は単一タスクの branchLSTM より優れ、MTL3（全ての三タスク）はさらなる利得を提供する。
• データセット特性（エントロピー、尖度）がマルチタスクの利得に影響を与えるという先行研究と一致しており、特に補助タスクの尖度が主タスクより低い場合に効果が高い。
• RumourEval ではマルチタスク学習が NileTMRG* および branchLSTM のベースラインを上回る。PHEME では MTL3 が試験された構成の中で最良の全体 macro-F と accuracy を達成する。
• PHEME におけるイベントごとの差は大きく、Ferguson イベントは特に難しく、真偽/偽/未検証の各クラス予測に差が見られる。