[論文レビュー] Co-Regularized Adversarial Learning for Multi-Domain Text Classification

Wu Yuan, Diana Inkpen+1 more|arXiv (Cornell University)|Jan 30, 2022

Text and Document Classification Technologies被引用数 5

ひとこと要約

本稿では、共正則化された敵対的学習とエントロピー最小化を用いた、二つの多様な共有潜在空間を持つマルチドメインテキスト分類手法Co-Regularized Adversarial Learning (CRAL) を提案する。この手法は特徴の識別性と一般化性能を向上させるために、共正則化されたドメインアライメントと仮想敵対的訓練を組み合わせる。CRALは二つのベンチマークで最先端手法を上回り、未学習ドメインへの強いゼロショット一般化を示す。

ABSTRACT

Multi-domain text classification (MDTC) aims to leverage all available resources from multiple domains to learn a predictive model that can generalize well on these domains. Recently, many MDTC methods adopt adversarial learning, shared-private paradigm, and entropy minimization to yield state-of-the-art results. However, these approaches face three issues: (1) Minimizing domain divergence can not fully guarantee the success of domain alignment; (2) Aligning marginal feature distributions can not fully guarantee the discriminability of the learned features; (3) Standard entropy minimization may make the predictions on unlabeled data over-confident, deteriorating the discriminability of the learned features. In order to address the above issues, we propose a co-regularized adversarial learning (CRAL) mechanism for MDTC. This approach constructs two diverse shared latent spaces, performs domain alignment in each of them, and punishes the disagreements of these two alignments with respect to the predictions on unlabeled data. Moreover, virtual adversarial training (VAT) with entropy minimization is incorporated to impose consistency regularization to the CRAL method. Experiments show that our model outperforms state-of-the-art methods on two MDTC benchmarks.

研究の動機と目的

• 敵対的学習、共有・プライベート特徴抽出、エントロピー最小化に依存する既存のマルチドメインテキスト分類（MDTC）手法の限界を解決すること。
• 三つの主要な問題に取り組む：分散最小化による不十分なドメインアライメント、識別性を損なうクラス条件付き分布の不一致、標準的なエントロピー最小化による過信予測。
• マルチソース非教師付きドメイン適応（MS-UDA）設定において、未学習ドメインへの知識移行を可能にすることでモデルの一般化を向上させること。
• 共正則化と一貫性正則化により、重複する仮説クラスを低減する堅牢で一貫性のある学習フレームワークの開発。

提案手法

• 表現多様性を高めるために、二つの異なる共有特徴抽出器を用いて二つの多様な共有潜在空間を構築する。
• クラス条件付き特徴分布のドメイン分散を最小化することで、各共有空間で敵対的ドメインアライメントを実行する。
• 未ラベルデータ上の予測の不一致をペナルティ化することで共正則化を強制し、重複するアライメントを低減する。
• ラベル付きおよびラベルなしデータの両方に対して一貫性正則化を課すために、仮想敵対的訓練（VAT）とエントロピー最小化を統合する。
• ドメインアライメント損失、不一致ペナルティ、VATに基づく一貫性正則化を組み合わせたマルチコンポonent損失関数を用いる。
• ラベル付きデータに対する教師あり損失とラベルなしデータに対する自己教師あり損失の組み合わせにより、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 共正則化された敵対的学習は、マルチドメインテキスト分類においてドメインアライメントを向上させると同時に特徴の識別性を保持できるか？
• RQ2 未ラベルデータの予測において、二つの多様な敵対的ブランチ間の一致を強制することで、重複する仮説クラスが低減され、モデルのロバスト性が向上するか？
• RQ3 VATとエントロピー最小化の統合は、予測の過信を緩和し、モデルの一般化性能を向上させられるか？
• RQ4 提案手法は、マルチソース非教師付きドメイン適応（MS-UDA）設定において、未学習ドメインへのゼロショット転送としてどれほど効果的か？

主な発見

• CRALは、アマゾンレビューおよびFDU-MTLベンチマークの両方で最先端MDTC手法を上回り、平均精度がより高い。
• アマゾンレビューデータセットでは、CRALはMS-UDA設定でCAN手法を2.22%上回り、平均精度92.3%を達成した。
• アブレーションスタディの結果、不一致ペナルティ損失（$\mathcal{L}_d$）が最も顕著に寄与し、性能を2.13%向上させた。
• パラメータ感度分析から、$\lambda_{uvt}$ および $\lambda_{lvt}$ の最適値が存在することが判明し、特定のしきい値を超えると性能がピークに達した後低下した。
• パラメータ $\lambda_d$ および $\lambda_\vartriangle$ の変動に対してもモデルはロバストであったため、広い範囲の設定で安定した性能を示した。
• 完全なCRALモデルが最良の性能を達成した。これは、共正則化、VAT、エントロピー最小化の各コンポーネントが相補的に寄与していることを確認した。