[論文レビュー] Mere Contrastive Learning for Cross-Domain Sentiment Analysis

Luo Yun, Fang Guo+2 more|arXiv (Cornell University)|Aug 18, 2022

Sentiment Analysis and Opinion Mining被引用数 10

ひとこと要約

本稿では、ドメイン間のセンチメント分析のための対照的学習フレームワークCOBE（Mere Contrastive Learning for Cross-Domain Sentiment Analysis）を提案する。この手法は、バッチ内ネガティブ例を用いて、同じセンチメントを示す文の表現を異なるドメイン間で一致させるとともに、異なるセンチメントの表現を分離する。実験では、クロスドメインおよびマルチドメインセンチメント分析のベンチマークで最先端の性能を達成し、ロバストネスと知識の転送効率が向上していることが可視化および敵対的テストによって裏付けられている。

ABSTRACT

Cross-domain sentiment analysis aims to predict the sentiment of texts in the target domain using the model trained on the source domain to cope with the scarcity of labeled data. Previous studies are mostly cross-entropy-based methods for the task, which suffer from instability and poor generalization. In this paper, we explore contrastive learning on the cross-domain sentiment analysis task. We propose a modified contrastive objective with in-batch negative samples so that the sentence representations from the same class will be pushed close while those from the different classes become further apart in the latent space. Experiments on two widely used datasets show that our model can achieve state-of-the-art performance in both cross-domain and multi-domain sentiment analysis tasks. Meanwhile, visualizations demonstrate the effectiveness of transferring knowledge learned in the source domain to the target domain and the adversarial test verifies the robustness of our model.

研究の動機と目的

• クロスドメインセンチメント分析において、交差エントロピーに基づくモデルの不安定さと一般化性能の低さを解消すること。
• 教師ありクロスドメインセンチメント分類タスクにおいて、対照的学習の有効性を検証すること。
• 分離可能でロバストな文の表現を学習することで、ソースドメインからターゲットドメインへの知識転送を向上させること。
• リソースが限られたクロスドメイン環境下で、敵対的例に対するモデルのロバストネスを向上させること。
• 対照的学習が、精度と一般化性能の両面で従来の交差エントロピー手法を上回ることを示すこと。

提案手法

• 同じラベルのペアをポジティブ、異なるラベルのペアをネガティブとするバッチ内ネガティブサンプルを用いた修正された対照的損失を提案する。
• 同じセンチメントの文の表現を潜在空間内で近づけ、異なるセンチメントの表現を遠ざけるように、BERTベースのエンコーダーを対照的目的関数で最適化する。
• 学習済みの文の表現とそのラベルを知識ベースとして保存し、推論時に利用する。
• 推論時、知識ベースからテストサンプルに最も類似したk個の表現を選択し、投票によってセンチメントを予測するk-Nearest Neighbors（kNN）分類器を用いる。
• コサイン類似度を用いて、ポジティブペア間の距離を最小化し、ネガティブペア間の距離を最大化する対照的損失関数を採用する。
• バックボーンモデルとして事前学習済みBERTを採用し、ラベル付きソースドメインデータ上で、対照的目的関数に最適化してエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、交差エントロピーに基づく手法と比較して、クロスドメインセンチメント分析における性能とロバストネスを向上させることができるか？
• RQ2 提案された対照的目的関数は、ソースドメインからターゲットドメインへの知識転送を効果的に実現できるか？
• RQ3 敵対的攻撃下でのモデルの性能はどのようであり、標準的な交差エントロピーモデルと比較して一般化性能が優れているか？
• RQ4 学習された表現は、センチメントの意味を保持しつつ、どの程度ドメイン間で混合するか？
• RQ5 追加の敵対的学習やドメイン適応コンponentがなくても、バッチ内ネガティブサンプリングのみで強力な性能が達成できるか？

主な発見

• COBEは、クロスドメインAmazonおよびFDU-MTLデータセットにおいて最先端の性能を達成し、クロスドメインおよびマルチドメインセンチメント分類の両方で既存手法を上回っている。
• クロスドメインAmazonデータセットでは、COBEは85.4%の精度を達成し、BERT-CE（78.9%）およびBERT-DAAT（83.2%）を顕著に上回っている。
• FDU-MTLデータセットのマルチドメイン設定では、COBEは86.7%の精度を達成し、BERT-CE（80.1%）およびBERT-DAAT（84.3%）を上回っている。
• 敵対的テストでは、COBEはキッチンドメインからの敵対的サンプルにおいて78.00%の精度を維持し、BERT-CEよりも6.5ポイント高い。
• COBE*はマルチドメイン敵対的サンプルにおいて81.00%の精度を示し、BERT-CE*よりも7.5ポイント高い。これは、優れたロバストネスを示している。
• 可視化結果から、異なるドメイン間で同じセンチメントの表現が密にクラスタリングされていることが確認され、ソースドメインからターゲットドメインへの有効な知識転送が実現していることが示された。