[論文レビュー] A Contrastive Cross-Channel Data Augmentation Framework for Aspect-based Sentiment Analysis

Bing Wang, Liang Ding+3 more|arXiv (Cornell University)|Apr 16, 2022

Sentiment Analysis and Opinion Mining被引用数 28

ひとこと要約

C3daは、クロスチャネルのデータ拡張と対照学習を、T5ベースのジェネレータを用いてインドメインの多面的ABSAサンプルを生成する枠組みとして用い、ベースラインより精度とMacro-F1を向上させる。

ABSTRACT

Aspect-based sentiment analysis (ABSA) is a fine-grained sentiment analysis task, which focuses on detecting the sentiment polarity towards the aspect in a sentence. However, it is always sensitive to the multi-aspect challenge, where features of multiple aspects in a sentence will affect each other. To mitigate this issue, we design a novel training framework, called Contrastive Cross-Channel Data Augmentation (C3 DA), which leverages an in-domain generator to construct more multi-aspect samples and then boosts the robustness of ABSA models via contrastive learning on these generated data. In practice, given a generative pretrained language model and some limited ABSA labeled data, we first employ some parameter-efficient approaches to perform the in-domain fine-tuning. Then, the obtained in-domain generator is used to generate the synthetic sentences from two channels, i.e., Aspect Augmentation Channel and Polarity Augmentation Channel, which generate the sentence condition on a given aspect and polarity respectively. Specifically, our C3 DA performs the sentence generation in a cross-channel manner to obtain more sentences, and proposes an Entropy-Minimization Filter to filter low-quality generated samples. Extensive experiments show that our C3 DA can outperform those baselines without any augmentations by about 1% on accuracy and Macro- F1. Code and data are released in https://github.com/wangbing1416/C3DA.

研究の動機と目的

• ABSAにおける多面的課題に対処するため、データ拡張を利用してインドメインの多面的サンプルを作成する。
• パラメータ効率の高いファインチューニングを用いてジェネレータをインドメイン文生成へ適応させる。
• クロスチャネル生成とエントロピーベースのフィルタリングを統合して高品質な拡張データを作成する。
• アスペクト特異的な埋め込みをより分離させる対照的学習目的を適用する。
• 複数のバックボーンにわたる標準的なABSAデータセットで頑健性の向上を示す。

提案手法

• パラメータ効率の良いチューニング（プロンプト/プレフィックス/LoRA）を用いた拡張ジェネレータとして、事前学習済みT5エンコーダ-デコーダを使用する。
• ジェネレータを、(i) 与えられた文とアスペクト、(ii) 与えられた文と極性に条件付けて文を生成するよう訓練する。
• 生成された出力を別のチャネルに戻して追加の多様なサンプルを作成することでクロスチャネル生成を行う。
• 予測エントロピーに基づくEntropy-Minimization Filter (EMF)で低品質の合成文をフィルタリングする。
• 元データと拡張データの教師付きクロスエントロピーと、文内の異なるアスペクトの埋め込みを離すように設計された対照的トリプレット損失を組み合わせた目的で訓練する。
• Key equations include: L_SCT = (1/N) sum CE(h_i W_s + b_s, p_i) + α CE(h_i^p W_s + b_s, p_i); R_CT = (1/N) sum max{ d(h_i, h_i^p) − d(h_i, h_i^n) + ξ, 0 }; L = L_SCT + β R_CT.

実験結果

リサーチクエスチョン

• RQ1 データ不足の下で、インドメインのクロスチャネルデータ拡張はABSAの性能を向上させるか？
• RQ2 アスペクト条件付きおよび極性条件付きのクロスチャネル生成が、多面的表現学習にどう影響するか？
• RQ3 エントロピーに基づくサンプルフィルタの組み込みは、拡張データの品質と有用性を向上させるか？
• RQ4 対照的学習目的がアスペクト分離埋め込みに与える影響は？
• RQ5 C3daの利益は、ABSAデータセットとバックボーンモデル間でどのように変化するか？

主な発見

モデル	レストランの精度	レストランのF1	ノートパソコンの精度	ノートパソコンのF1	ツイッターの精度	ツイッターのF1
BERT-base	86.31	80.22	79.66	76.11	76.50	75.23
+ EDA	86.42	79.63	79.59	75.79	76.26	75.16
+ BT	86.47	80.29	79.67	76.35	76.63	75.47
+ CBERT	86.27	80.00	79.83	76.12	76.44	75.36
+ SCon	86.51	80.55	80.23	76.48	-	-
+ C3da (Ours)	86.93	81.23	80.61	77.11	77.55	76.53
RoBERTa-base	86.38	80.29	80.10	76.24	76.63	75.37
+ EDA	86.43	80.21	80.38	76.59	76.47	75.36
+ BT	86.50	80.59	80.22	76.73	76.59	75.47
+ CBERT	86.77	80.51	80.54	76.57	76.73	75.37
+ C3da	87.11	81.63	81.83	78.46	78.31	76.67

• C3daは、Restaurant、Laptop、Twitterデータセットでベースライン（BERTベースおよびRoBERTaベース）を一貫して改善する。
• 平均して、RoBERTaベースのモデルは、augmentationを用いたベースラインに対して約0.87%〜2.22%の絶対的な精度またはMacro-F1の利得を得る。
• C3daはより大きなMacro-F1の利得をもたらし、マルチアスペクト相互作用に対する一般化と頑健性の向上を示す。
• アブレーションにより、データ拡張と対照学習およびEMFの組み合わせが性能に寄与し、AACとPACの両方が有益である（AACの方がわずかに影響力が大きい）。
• ケーススタディは、C3daを用いると曖昧な文の極性分布の安定性が改善されることを示す。