[論文レビュー] Domain Adaptation with Category Attention Network for Deep Sentiment Analysis

Dongbo Xi, Fuzhen Zhuang+4 more|arXiv (Cornell University)|Dec 31, 2021

Sentiment Analysis and Opinion Mining参考文献 15被引用数 7

ひとこと要約

本稿では、分類タスクにおけるドメイン間の感情分析のためのドメイン適応モデルであるCAN-CNNを提案する。このモデルは、カテゴリアテンションネットワーク（CAN）を用いて、ドメイン共有（ピボット）およびドメイン固有（非ピボット）の感情語の学習を統合的に実現する。カテゴリメモリモジュール、動的マッチング、カテゴリアテンション層を統合することで、自動的に転送可能な感情特徴を特定し、性能と解釈可能性を向上させる。3つの公開データセットで、精度とF1スコアの測定可能な向上を示し、既存手法を上回る性能を発揮する。

ABSTRACT

Domain adaptation tasks such as cross-domain sentiment classification aim to utilize existing labeled data in the source domain and unlabeled or few labeled data in the target domain to improve the performance in the target domain via reducing the shift between the data distributions. Existing cross-domain sentiment classification methods need to distinguish pivots, i.e., the domain-shared sentiment words, and non-pivots, i.e., the domain-specific sentiment words, for excellent adaptation performance. In this paper, we first design a Category Attention Network (CAN), and then propose a model named CAN-CNN to integrate CAN and a Convolutional Neural Network (CNN). On the one hand, the model regards pivots and non-pivots as unified category attribute words and can automatically capture them to improve the domain adaptation performance; on the other hand, the model makes an attempt at interpretability to learn the transferred category attribute words. Specifically, the optimization objective of our model has three different components: 1) the supervised classification loss; 2) the distributions loss of category feature weights; 3) the domain invariance loss. Finally, the proposed model is evaluated on three public sentiment analysis datasets and the results demonstrate that CAN-CNN can outperform other various baseline methods.

研究の動機と目的

• 食品や映画など、ドメインによって感情表現が顕著に異なる、ドメインシフトの課題に対処すること。
• ピボット語と非ピボット語を別々に扱う従来手法の限界を克服し、複雑な二重ネットワークアーキテクチャを必要としないこと。
• ターゲットドメインにおける転送可能な感情特徴（ピボット語と非ピボット語）を自動的に特定・注目できる仕組みを提供することで、モデルの解釈可能性を向上させること。
• ピボット語と非ピボット語の区別を手動で行う必要のない、ドメインに適応したカテゴリ属性語を学習する統合フレームワークを開発すること。
• 教師あり分類損失、カテゴリ特徴分布の整合性、ドメイン不変性の3つの損失を組み合わせたマルチコンponent損失関数を最適化することで、一般化性能と転送可能性を向上させること。

提案手法

• カテゴリメモリモジュール（CMM）を統合したカテゴリアテンションネットワーク（CAN）を提案し、カテゴリ固有の感情語を保存・取得する。
• 入力サンプルごとに意味的類似度に基づき、CMM内の関連するカテゴリ属性語を動的マッチングするプロセス（DM）を実装する。
• 各サンプルとマッチングされたカテゴリ語との間でアテンション重みを計算するカテゴリアテンション（CA）層を適用し、関連する感情特徴を強調する。
• ソースドメインではCMMに事前に定義された感情語を適用し、ターゲットドメインではランダム初期化することで、ドメインに適応した知識転送を可能にする。
• 教師あり分類損失、カテゴリ特徴重みの分布損失、ドメイン不変性損失の3つの損失コンponentを組み合わせてモデルを最適化し、ソースドメインとターゲットドメインの表現を整合させる。
• CNNの局所的特徴抽出能力とCANの注目ベースのカテゴリモデリングを統合し、CAN-CNNを構築することで、感情分類性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離されたネットワークブランチを必要とせず、ピボット語（ドメイン共有）と非ピボット語（ドメイン固有）の両方を統合的に学習できる統合フレームワークは、効果的に機能するか？
• RQ2 既存の最先端手法と比較して、カテゴリアテンションネットワーク（CAN）は、クロスドメイン感情分類の性能をどの程度向上させられるか？
• RQ3 モデル内部のCMMと注目メカニズムは、ソースドメインからターゲットドメインへどの感情特徴が転送されたかを解釈可能なインサイトを提供できるか？
• RQ4 CANにおける動的マッチングと注目メカニズムは、リソースが限られたターゲットドメインにおける特徴表現学習をどのように向上させるか？
• RQ5 カテゴリ分布の整合性とドメイン不変性損失の組み合わせは、ドメイン適応における一般化性能と頑健性を向上させるか？

主な発見

• CAN-CNNは、3つの公開感情分析データセット（IMDB、Yelp、MR）において、複数の最先端ベースラインを上回り、クロスドメイン感情分類において高い精度とF1スコアを達成した。
• 教師あり分類、カテゴリ特徴分布の整合性、ドメイン不変性の3つを同時に最適化することで、マルチコンponent損失目的関数の有効性が実証された。
• 訓練後、ターゲットドメインのCMMは「funny」（面白い）、「heartbreaking」（胸が痛い）、「boring」（退屈）、「horrible」（ひどい）といった意味のある感情語を学習しており、ドメインに適応した知識転送が成功したことを示している。
• カテゴリアテンション重みの可視化により、モデルが正しくキーワードを特定していることが確認された — 例えば、肯定的サンプルでは「funny」と「heartbreaking」、否定的サンプルでは「boring」と「horrible」を適切に注目している。
• 「not horrible」や「unsentimental」のような誤解を招く感情的ニュアンスを、主な感情語に注目することで効果的に抑制しており、否定や皮肉に対しても頑健であることが示された。
• ターゲットドメインにおけるドメインに適応したCMMは、ソースドメインからどの感情特徴が最も関連性があり、転送可能であるかを明らかにする解釈可能な知識転送の形態を果たしている。