[論文レビュー] Improving Fake News Detection of Influential Domain via Domain- and Instance-Level Transfer

Qiong Nan, Danding Wang+5 more|arXiv (Cornell University)|Sep 19, 2022

Misinformation and Its Impacts被引用数 9

ひとこと要約

本稿では、政治や健康など影響力のある分野におけるフェイクニュース検出を向上させるために、メタラーニングを用いた一般ドメインレベルの知識と、ドメイン適応型言語モデルによるインスタンスレベルの転送可能性スコアリングを活用するドメインおよびインスタンスレベルの転送フレームワーク、DITFENDを提案する。実験の結果、特にデータが不均衡な現実世界のオンライン環境において、ベースラインと比べ顕著な向上が得られた。

ABSTRACT

Both real and fake news in various domains, such as politics, health, and entertainment are spread via online social media every day, necessitating fake news detection for multiple domains. Among them, fake news in specific domains like politics and health has more serious potential negative impacts on the real world (e.g., the infodemic led by COVID-19 misinformation). Previous studies focus on multi-domain fake news detection, by equally mining and modeling the correlation between domains. However, these multi-domain methods suffer from a seesaw problem: the performance of some domains is often improved at the cost of hurting the performance of other domains, which could lead to an unsatisfying performance in specific domains. To address this issue, we propose a Domain- and Instance-level Transfer Framework for Fake News Detection (DITFEND), which could improve the performance of specific target domains. To transfer coarse-grained domain-level knowledge, we train a general model with data of all domains from the meta-learning perspective. To transfer fine-grained instance-level knowledge and adapt the general model to a target domain, we train a language model on the target domain to evaluate the transferability of each data instance in source domains and re-weigh each instance's contribution. Offline experiments on two datasets demonstrate the effectiveness of DITFEND. Online experiments show that DITFEND brings additional improvements over the base models in a real-world scenario.

研究の動機と目的

• 一部のドメインで性能を向上させることで他のドメインの性能が低下する、マルチドメインフェイクニュース検出におけるシーサウ問題に対処すること。
• 政治や健康など、社会的影響が大きい分野における検出精度を向上させること。
• ドメイン間で転送可能かどうかを区別することで、効果的なクロスドメイン知識転送を可能にすること。
• 他のドメインの性能を低下させることなく、ターゲットドメインの性能を向上させるフレームワークの開発

提案手法

• すべてのドメインにわたって一般モデルを訓練するメタラーニングを活用し、ターゲットドメインへの素早い適応を可能にする。
• ドメイン適応型言語モデルを用いて、文字・語彙レベルの特徴を予測し、インスタンスの転送可能性を推定する。
• 各ソースインスタンスのターゲットドメインに対する関連性を評価する転送可能性評価器を導入する。
• トレーニング中に、インスタンスの転送可能性スコアに基づいてソースインスタンスの寄与度を再重み付けする。
• ドメインレベルの一般化とインスタンスレベルの選択的知識転送を組み合わせることで、検出性能を向上させる。
• 偏りのあるデータ分布を示すオフラインデータセットおよび現実世界のオンラインシステムの両方へフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ドメインレベルのメタラーニングは、ターゲットドメインにおける一般化と素早い適応を向上させることができるか？
• RQ2 インスタンスレベルの転送可能性を効果的に定量化することで、ソースドメインからターゲットドメインへの知識転送を強化できるか？
• RQ3 インスタンスレベルの関連性に基づく選択的転送により、関係のないソースインスタンスからの干渉を低減できるか？
• RQ4 提案されたフレームワークは、現実世界で不均衡なオンライン環境において、既存のマルチドメインおよびシングルドメインベースラインを上回ることができるか？

主な発見

• オンラインテストにおいて、FPR ≤ 0.1 の条件下で、EANNベースライン比で標準化された部分AUC（SPAUC）が3.40%相対的に向上した。
• TextCNN比でSPAUCが2.07%向上し、EANN比で3.40%向上した。これは、レアなフェイクニュース検出において優れた性能を示している。
• アブレーションスタディの結果、ドメインレベルおよびインスタンスレベルの転送コンponentの両方が全体の性能向上に顕著に寄与していることが確認された。
• ケーススタディでは、転送可能性評価器が関連するソースインスタンス（例：政治的ニュース検出における健康関連コンテンツ）を効果的に選択できた。
• オンライン実験により、DITFENDが極端なクラス不均衡（40:1のリアル対フェイク比）を示す現実世界のシステムにおいて実用的な利点をもたらすことが検証された。
• 本手法は、他のドメインの性能を低下させることなく、ターゲットドメインの性能を向上させることで、シーサウ問題を効果的に緩和した。