[論文レビュー] Contrastive Domain Adaptation for Early Misinformation Detection: A Case Study on COVID-19

Zhenrui Yue, Huimin Zeng+3 more|arXiv (Cornell University)|Aug 20, 2022

Misinformation and Its Impacts被引用数 9

ひとこと要約

本稿では、COVID-19分野における初期フェイクニュース検出のための対照的ドメイン適応フレームワークCANMDを提案する。この手法は、疑似ラベル付けと対照的適応損失を用いて、ラベルシフトの是正と不変表現の学習を同時に実現する。本手法は、ドメインとラベルシフトが顕著な状況下でも、ベースライン比で最大34.5%のバランス精度向上を達成し、最先端の性能を発揮する。

ABSTRACT

Despite recent progress in improving the performance of misinformation detection systems, classifying misinformation in an unseen domain remains an elusive challenge. To address this issue, a common approach is to introduce a domain critic and encourage domain-invariant input features. However, early misinformation often demonstrates both conditional and label shifts against existing misinformation data (e.g., class imbalance in COVID-19 datasets), rendering such methods less effective for detecting early misinformation. In this paper, we propose contrastive adaptation network for early misinformation detection (CANMD). Specifically, we leverage pseudo labeling to generate high-confidence target examples for joint training with source data. We additionally design a label correction component to estimate and correct the label shifts (i.e., class priors) between the source and target domains. Moreover, a contrastive adaptation loss is integrated in the objective function to reduce the intra-class discrepancy and enlarge the inter-class discrepancy. As such, the adapted model learns corrected class priors and an invariant conditional distribution across both domains for improved estimation of the target data distribution. To demonstrate the effectiveness of the proposed CANMD, we study the case of COVID-19 early misinformation detection and perform extensive experiments using multiple real-world datasets. The results suggest that CANMD can effectively adapt misinformation detection systems to the unseen COVID-19 target domain with significant improvements compared to the state-of-the-art baselines.

研究の動機と目的

• トレーニングデータがソースドメインに限定されたモデルを、未観測のターゲットドメインに展開する際の一般化性能の低さという課題に対処すること。特に、パンデミック初期のフェイクニュース拡散時における検出性能の向上を目的とする。
• ソースドメインとターゲットドメインの間で大きな条件付き分布シフトとラベルシフトが生じる状況下で、従来のドメイン適応手法が失敗するという限界を克服すること。
• COVID-19パンデミック期の新規フェイクニュース検出という、リソースが限られ、ラベルが不足する状況下での早期検出性能を向上させること。
• クラス事前確率のシフトを効果的に是正し、ドメイン間で不変な表現を学習する手法を開発することにより、より頑健な検出性能を実現すること。

提案手法

• ターゲットドメインにおける高信頼度の疑似ラベル付き例を生成するために、事前学習済みのフェイクニュース検出モデルを活用する。
• ソースドメインとターゲットドメイン間のラベルシフト（すなわち、クラス事前確率の乖離）を推定・是正するための学習可能なリスケーリングコンポonentを導入する。
• ソースデータと疑似ラベル付きターゲットデータの結合学習分布をバランスさせるために、クラスに依存するサンプリング戦略を採用する。
• 特徴空間内でのクラス内ばらつきを最小化し、クラス間分離を最大化するため、対照的適応損失を適用する。
• 分類損失、ラベル是正損失、対照的適応損失を組み合わせたマルチオブジェクティブ損失を用いて、ソースデータと疑似ラベル付きターゲットデータを同時に学習する。
• 疑似ラベル付けの段階で温度スケーリングと信頼度しきい値を用いて、結合学習に適した高品質なターゲット予測を保証する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインの間で大きなラベルシフトと条件付きシフトが生じる状況下でも、ドメイン適応手法がCOVID-19分野における初期フェイクニュース検出を効果的に行えるか。
• RQ2 ラベルシフト是正が、リソースが限られたフェイクニュース検出環境におけるドメイン適応モデルの性能にどのように影響を与えるか。
• RQ3 対照的学習が、フェイクニュース検出においてソースドメインとターゲットドメイン間で特徴の不変性と分類の頑健性をどの程度向上させるか。
• RQ4 提示されたフレームワークは、顕著なドメイン差異とクラス不均衡が生じる状況下でも、既存の最先端ドメイン適応ベースラインを上回る性能を発揮するか。
• RQ5 信頼度しきい値や対照的損失重み付けといったハイパーパrameterの変化に対して、フレームワークの性能はどの程度感受性を示すか。

主な発見

• CANMDは、複数のターゲットデータセットにおいて、最先端のベースライン比で平均11.5%のバランス精度向上を達成する。
• CoAIDデータセットでは、CANMDは0.6487のバランス精度を達成し、過半数の例が信頼できる（90%以上）という深刻なクラス不均衡の影響で、ベースラインが約0.5にとどまる状況を著しく上回る。
• CoAIDにおいて、ラベル是正コンponentが性能向上の主な要因となっており、これは事前確率シフト是正の有効性を示している。
• 対照的適応損失は、すべてのデータセットで性能向上をもたらし、ドメイン差異が顕著なデータセットで最も顕著な向上が観察された。
• フレームワークはハイパーパrameterの変化に対して頑健であり、さまざまな信頼度しきい値や対照的損失重み設定でも安定した性能を発揮する。
• アブレーションスタディの結果、ラベル是正と対照的適応の両方が不可欠であることが確認され、いずれかのコンponentを除去すると、顕著な性能低下が生じた。