[論文レビュー] Conditional Adversarial Networks for Multi-Domain Text Classification

Yuan Wu, Diana Inkpen+1 more|arXiv (Cornell University)|Feb 19, 2021

Topic Modeling参考文献 32被引用数 7

ひとこと要約

本稿では、マルチドメインテキスト分類のための条件付き対抗ネットワーク（CANs）を提案する。CANsは、条件付きドメイン識別器とエントロピー条件付けを用いて、共有特徴量とラベル予測の両方におけるドメインばらつきを同時にモデル化することで、特徴の判別能を向上させる。CANsは2つのベンチマークで最先端の性能を達成し、未学習ドメインへの一般化も効果的である。

ABSTRACT

In this paper, we propose conditional adversarial networks (CANs), a framework that explores the relationship between the shared features and the label predictions to impose more discriminability to the shared features, for multi-domain text classification (MDTC). The proposed CAN introduces a conditional domain discriminator to model the domain variance in both shared feature representations and class-aware information simultaneously and adopts entropy conditioning to guarantee the transferability of the shared features. We provide theoretical analysis for the CAN framework, showing that CAN's objective is equivalent to minimizing the total divergence among multiple joint distributions of shared features and label predictions. Therefore, CAN is a theoretically sound adversarial network that discriminates over multiple distributions. Evaluation results on two MDTC benchmarks show that CAN outperforms prior methods. Further experiments demonstrate that CAN has a good ability to generalize learned knowledge to unseen domains.

研究の動機と目的

• 既存の対抗的手法が、ドメインの周辺分布のみを統合しようとする場合に、判別能を保証できないという限界に対処する。
• 共有特徴量とラベル予測の関係をモデル化することで、特徴の質を向上させ、判別力を強化する。
• エントロピー条件付けを用いて、高信頼度で容易に転移可能なインスタンスを優先することで、共有特徴量の転送性を確保する。
• 教師なしマルチソースドメイン適応設定において、未学習ドメインへの効果的な一般化を可能にする。
• 共有特徴量とラベル予測の結合分布間の全距離を最小化するという理論的妥当性の検証。

提案手法

• ラベル予測に条件付けられた条件付きドメイン識別器を導入し、共有特徴量とクラスに依存する情報の両方におけるドメインばらつきをモデル化する。
• エントロピー条件付けを適用し、対抗学習中に低信頼度の予測を軽減することで、特徴の転送性を向上させる。
• 共有・プライベートのパラダイムを採用し、特徴量をドメイン不変の共有部とドメイン固有のプライベート部に分割する。
• 共有特徴量抽出器と条件付きドメイン識別器を、共有特徴量とラベルの結合分布間の乖離を最小化するように対抗的に訓練する。
• 理論的分析により、CANの目的関数が、共有特徴量とラベル予測の複数の結合分布間の全距離を最小化することに等しいことが示された。
• 教師なし適応では、分類に共有特徴量のみを用い、ドメイン固有の特徴量はゼロに設定する。

実験結果

リサーチクエスチョン

• RQ1 共有特徴量とラベル予測の同時統合が、マルチドメインテキスト分類における判別能の向上に寄与するか？
• RQ2 ラベル予測に条件付けられたドメイン識別器を用いることで、標準的なドメイン対抗学習に比べて優れた特徴表現が得られるか？
• RQ3 エントロピー条件付けにより、高信頼度の予測に注目することで、共有特徴量の転送性が向上するか？
• RQ4 教師なし設定において、ターゲットドメインにラベルデータが存在しない状況でも、CANはどれほど未学習ドメインに一般化できるか？
• RQ5 CANフレームワークは、特徴量とラベルの複数の結合分布間の乖離を最小化するという点で、理論的に妥当性を有しているか？

主な発見

• Amazonレビュー・データセットにおいて、CANは平均精度および個別ドメインごとの精度の両面で、先行手法を上回る最先端の性能を達成した。
• FDU-MTLデータセットでは、平均精度が最良であり、16個の個別ドメインのうち10個で1位となった。
• アブレーションスタディにより、条件付きドメイン識別器とエントロピー条件付けの両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下した。
• 教師なしマルチソースドメイン適応において、CANはDANN、mSDA、MDANを含むすべてのベースラインを上回り、4つのターゲットドメインのうち3つで優位性を示した。
• 教師なし適応において、CANは最高の平均精度を達成し、未学習ドメインへの強力な一般化能力を示した。
• 理論的分析により、CANが共有特徴量とラベル予測の結合分布間の全距離を最小化することを確認し、対抗統合メカニズムの正当性が裏付けられた。