[論文レビュー] Cross-Domain Sentiment Classification with In-Domain Contrastive Learning

Tian Li, Xiang Chen+3 more|arXiv (Cornell University)|Dec 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 4

ひとこと要約

本稿では、分布マッチングに依存せずにドメイン不変表現を学習することで一般化性能を向上させる、ドメイン内対照的学習フレームワークを提案する。ラベル分布シフトの程度に応じてドメイン内対照的学習とエントロピー最小化を適応的に適用することで、標準ベンチマーク上で最先端の性能を達成し、大きなドメインシフト下でも誤差を低減し、意思決定境界の整合性を高める。

ABSTRACT

Contrastive learning (CL) has been successful as a powerful representation learning method. In this paper, we propose a contrastive learning framework for cross-domain sentiment classification. We aim to induce domain invariant optimal classifiers rather than distribution matching. To this end, we introduce in-domain contrastive learning and entropy minimization. Also, we find through ablation studies that these two techniques behaviour differently in case of large label distribution shift and conclude that the best practice is to choose one of them adaptively according to label distribution shift. The new state-of-the-art results our model achieves on standard benchmarks show the efficacy of the proposed method.

研究の動機と目的

• 大規模なラベル分布シフト下におけるドメインシフトの課題に取り組むこと。
• 分布マッチングを避けてドメイン不変な最適な分類器を促進する対照的学習フレームワークを開発すること。
• 変化するラベル分布シフトの下で、ドメイン内対照的学習とエントロピー最小化の相補的挙動を調査すること。
• 適切に設計された事前学習タスクを通じて判別性が高く、転移可能な表現を学習することでモデルの一般化性能を向上させること。
• 敵対的訓練やドメイン差分最小化に依存せずに、標準的なクロスドメインセンチメント分類ベンチマークで最先端の性能を達成すること。

提案手法

• ドメイン内対照的学習を導入し、各ドメイン（ソースまたはターゲット）内でのみポジティブ・ネガティブペアを形成することで、ドメイン間の対照がドメイン差を増大させることを回避する。
• 意味のある表現学習を保証するため、同義語置換とバックトランスレーションをデータ拡張技術として用い、対照学習用のポジティブサンプルを生成する。
• ラベルなしターゲットドメインデータに対する自信のある予測を促進することで、低シフト設定下での一般化性能を向上させるためにエントロピー最小化を採用する。
• ソースとターゲットドメイン間のラベル分布シフトの大きさに応じて、ドメイン内対照的学習とエントロピー最小化の適応的選択を実施する。
• ドメイン内対照的学習とエントロピー最小化を統合的なフレームワークで組み合わせ、t-SNE可視化を通じてクラスタリングの向上と意思決定境界の整合性を実証する。
• 特徴抽出にBERTを用い、対照的およびエントロピー正則化目的関数に基づいてモデルをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内対照的学習は、標準的な対照的学習と比較して、ドメイン差分と意思決定境界の整合性の観点でどのように異なるか？
• RQ2 ラベル分布シフトの程度が変化する条件下で、ドメイン内対照的学習とエントロピー最小化はそれぞれどのように性能を発揮するか？
• RQ3 ドメイン内対照的学習とエントロピー最小化の間で適応的選択を施すことで、さまざまなドメインシフト状況下で全体的な性能が向上するか？
• RQ4 センチメントに配慮したデータ拡張（同義語置換、バックトランスレーション）を事前学習タスクとして用いることで、クロスドメインセンチメント分類における転移性が向上するか？
• RQ5 分布マッチングを回避することで、大規模なラベル分布シフト下でのモデルのロバスト性がどの程度向上するか？

主な発見

• ドメイン内対照的学習は、ドメイン間分散を低減し、ターゲットドメインにおけるポジティブ・ネガティブクラスタ間のマージン分離を改善することで、標準的対照的学習を上回る性能を発揮する。
• エントロピー最小化は、ラベル分布シフトが大きい状況では性能が著しく低下する。これは、ターゲットドメインの多数クラスにモデルがバイアスされ、分類性能が劣化するためである。
• ラベル分布シフトが大きい場合（例：K→Dで7.39:1）、ドメイン内対照的学習が境界インスタンスの誤分類を防ぐのに最も有効である。
• 適応的戦略（小シフトではエントロピー最小化、大シフトではドメイン内対照的学習）を採用することで、ベンチマーク全体で最良の性能が得られる。
• t-SNE可視化により、ドメイン内対照的学習とエントロピー最小化を併用した場合に、特にターゲットドメインにおけるポジティブ・ネガティブクラスタ間のマージンが広がっていることが確認された。
• 本手法は、標準的なクロスドメインセンチメント分類ベンチマークで、強力なベースラインを上回る新たな最先端の結果を達成した。