[論文レビュー] Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis

Juhua Liu, Qihuang Zhong+4 more|arXiv (Cornell University)|Oct 26, 2021

Sentiment Analysis and Opinion Mining参考文献 39被引用数 5

ひとこと要約

本稿では、ドメインシフトを軽減するための統合的インスタンスおよび知識アライメント事前学習フレームワークであるUIKAを提案する。インスタンスアライメントには粗い順から細かい順への検索を、知識アライメントには教師-生徒型知識蒸留戦略を採用することで、複数のABSAベンチマークで顕著な性能向上を達成した。特にYelpデータセットで微調整した際、正確性で最大+5.12%、F1スコアで最大+5.05%の向上を達成した。

ABSTRACT

Aspect-based Sentiment Analysis (ABSA) aims to determine the sentiment polarity towards an aspect. Because of the expensive and limited labelled data, the pretraining strategy has become the de-facto standard for ABSA. However, there always exists severe domain shift between the pretraining and downstream ABSA datasets, hindering the effective knowledge transfer when directly finetuning and making the downstream task performs sub-optimal. To mitigate such domain shift, we introduce a unified alignment pretraining framework into the vanilla pretrain-finetune pipeline with both instance- and knowledge-level alignments. Specifically, we first devise a novel coarse-to-fine retrieval sampling approach to select target domain-related instances from the large-scale pretraining dataset, thus aligning the instances between pretraining and target domains (First Stage). Then, we introduce a knowledge guidance-based strategy to further bridge the domain gap at the knowledge level. In practice, we formulate the model pretrained on the sampled instances into a knowledge guidance model and a learner model, respectively. On the target dataset, we design an on-the-fly teacher-student joint fine-tuning approach to progressively transfer the knowledge from the knowledge guidance model to the learner model (Second Stage). Thereby, the learner model can maintain more domain-invariant knowledge when learning new knowledge from the target dataset. In the Third Stage, the learner model is finetuned to better adapt its learned knowledge to the target dataset. Extensive experiments and analyses on several ABSA benchmarks demonstrate the effectiveness and universality of our proposed pretraining framework. Our source code and models are publicly available at https://github.com/WHU-ZQH/UIKA.

研究の動機と目的

• 一般事前学習データセットと下流ABSAデータセットとの間の深刻なドメインシフトを解消し、効果的な知識移転を可能にする。
• 事前学習段階でドメイン間のインスタンスおよび知識をアライメントさせることで、ABSAモデルの性能を向上させる。
• 既存のABSAモデルにアーキテクチャの変更を加えずに統合可能な、堅牢でプラグイン型の事前学習フレームワークを開発する。
• 提案手法が多様な事前学習データおよび下流データセットに普遍的かつ効果的に適用可能であることを示す。

提案手法

• 3段階のフレームワークを提案する：(1) 大規模事前学習データからドメイン関連のインスタンスを選択するための粗い順から細かい順への検索によるインスタンスアライメント。
• 2段階目では、事前学習済みモデル（教師）がリアルタイムでの共同微調整を通じて学習モデル（生徒）をガイドする、知識ガイドランス戦略を導入し、ドメイン不変の知識学習を促進する。
• 教師（知識ガイドランスモデル）から生徒モデルへの強力な表現を段階的に転送するための知識蒸留メカニズムを採用する。
• 3段階目では、ターゲットABSAデータセットでの最終的な微調整に、蒸留された生徒モデルを用い、タスク固有のパターンに適応する。
• 大規模で汎用的な事前学習データ（例：Amazon、Yelp）を活用し、リソースが限られたABSAタスクのためのドメインに適した表現をブートストラップする。

実験結果

リサーチクエスチョン

• RQ1 事前学習データとターゲットABSAデータセットとのインスタンスレベルのアライメントが、下流性能の向上に寄与するか？
• RQ2 知識蒸留を用いた知識レベルのアライメントが、ABSAにおけるドメインシフトを軽減し、モデルの汎化性能を向上させるか？
• RQ3 提案されたUIKAフレームワークは、多様なABSAデータセットおよび事前学習データソースでどのように性能を発揮するか？
• RQ4 UIKAフレームワークは、異なるドメイン（例：Amazon対Yelp）を含む事前学習データの変化に対して頑健か？

主な発見

• Yelpデータセットで微調整した際、UIKAは最大+5.12%の正確性向上と+5.05%のF1スコア向上を達成し、ベースラインモデルを上回った。
• Laptop14データセットでは、Amazonデータで事前学習した場合、UIKAがASGCNベースラインを正確性で+3.82%、F1スコアで+5.00%向上させた。
• GCAE、ATAE、ASGCNなど複数のモデルおよびデータセットで一貫した向上を示しており、強い普遍性と移譲性を示している。
• AmazonとYelpの両方のデータセットで事前学習すると、単一のソースを使用する場合よりも高い性能向上が得られるが、計算コストが増加する。
• 事前学習データの選択に対してフレームワークは頑健であり、ターゲットデータセットとドメインが類似している場合（例：Amazon→Laptop14、Yelp→Restaurant14）に高い性能を発揮した。