[논문 리뷰] Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis

Juhua Liu, Qihuang Zhong외 4명|arXiv (Cornell University)|2021. 10. 26.

Sentiment Analysis and Opinion Mining참고 문헌 39인용 수 5

한 줄 요약

이 논문은 도메인 간 이질성 문제를 완화하기 위해 분류 기반 감성 분석(ABSA)을 위한 통합적 인스턴스 및 지식 정렬 프리트레인 프레임워크인 UIKA를 제안한다. 인스턴스 정렬을 위해 굵은-세밀한 검색을, 지식 정렬을 위해 교사-학생 지식 정제 전략을 적용함으로써 UIKA는 다양한 ABSA 벤치마크에서 성능을 크게 향상시키며, Yelp 데이터셋에 피나이팅한 결과 정확도 최대 +5.12% 및 F1 최대 +5.05% 향상을 기록한다.

ABSTRACT

Aspect-based Sentiment Analysis (ABSA) aims to determine the sentiment polarity towards an aspect. Because of the expensive and limited labelled data, the pretraining strategy has become the de-facto standard for ABSA. However, there always exists severe domain shift between the pretraining and downstream ABSA datasets, hindering the effective knowledge transfer when directly finetuning and making the downstream task performs sub-optimal. To mitigate such domain shift, we introduce a unified alignment pretraining framework into the vanilla pretrain-finetune pipeline with both instance- and knowledge-level alignments. Specifically, we first devise a novel coarse-to-fine retrieval sampling approach to select target domain-related instances from the large-scale pretraining dataset, thus aligning the instances between pretraining and target domains (First Stage). Then, we introduce a knowledge guidance-based strategy to further bridge the domain gap at the knowledge level. In practice, we formulate the model pretrained on the sampled instances into a knowledge guidance model and a learner model, respectively. On the target dataset, we design an on-the-fly teacher-student joint fine-tuning approach to progressively transfer the knowledge from the knowledge guidance model to the learner model (Second Stage). Thereby, the learner model can maintain more domain-invariant knowledge when learning new knowledge from the target dataset. In the Third Stage, the learner model is finetuned to better adapt its learned knowledge to the target dataset. Extensive experiments and analyses on several ABSA benchmarks demonstrate the effectiveness and universality of our proposed pretraining framework. Our source code and models are publicly available at https://github.com/WHU-ZQH/UIKA.

연구 동기 및 목표

• 일반 프리트레인 데이터셋과 최종 응용용 ABSA 데이터셋 간 심각한 도메인 이질성 문제를 해결하여 지식 전이를 효과적으로 가능하게 하기 위해.
• 프리트레인 단계에서 도메인 간 인스턴스 및 지식 정렬을 통해 ABSA 모델의 성능을 향상시키기 위해.
• 기존 ABSA 모델의 아키텍처 변경 없이도 적용 가능한 강력한 플러그인 스타일의 프리트레인 프레임워크를 개발하기 위해.
• 제안된 방법이 다양한 프리트레인 및 최종 응용 데이터셋에 걸쳐 일반성과 효과성을 입증하기 위해.

제안 방법

• 세 단계로 구성된 프레임워크를 제안: (1) 대규모 프리트레인 데이터에서 도메인 관련 인스턴스를 선별하기 위해 굵은-세밀한 검색을 통한 인스턴스 정렬.
• 두 번째 단계에서 프리트레인된 모델을 교사로 활용하여 실시간 공동 피나이팅을 통해 학습자 모델을 안내하는 지식 가이드 전략을 도입함으로써 도메인 불변 지식 학습을 촉진.
• 교사(지식 가이드 모델)에서 학습자 모델로 강력한 표현을 점진적으로 전달하기 위해 지식 정제 메커니즘을 활용.
• 세 번째 단계에서 최종 피나이팅을 위해 정제된 학습자 모델을 사용하여 타겟 ABSA 데이터셋에 맞는 작업 특성 패턴으로 적응.
• 대규모 일반 목적 프리트레인 데이터(예: Amazon, Yelp)를 활용하여 저자원 ABSA 작업에 대해 도메인 인식 표현을 부트스트랩함.

실험 결과

연구 질문

• RQ1 프리트레인 데이터셋과 타겟 ABSA 데이터셋 간 인스턴스 수준의 정렬이 최종 성능 향상에 기여하는가?
• RQ2 지식 정제를 통한 지식 수준의 정렬이 ABSA에서 도메인 이질성을 감소시키고 모델 일반화 능력을 향상시키는가?
• RQ3 제안된 UIKA 프레임워크는 다양한 ABSA 데이터셋과 프리트레인 데이터 소스에서 어떻게 성능을 발휘하는가?
• RQ4 UIKA 프레임워크는 프리트레인 데이터의 다양성(예: Amazon vs. Yelp)에 대해 얼마나 강건한가?

주요 결과

• Yelp 데이터셋에 피나이팅한 결과, UIKA는 기준 모델을 초월해 정확도 최대 +5.12% 및 F1 최대 +5.05% 향상을 기록한다.
• Laptop14 데이터셋에서 Amazon 데이터로 프리트레인한 경우, UIKA는 ASGCN 기준 모델의 정확도를 +3.82% 향상시키고 F1을 +5.00% 향상시킨다.
• GCAE, ATAE, ASGCN 등 다양한 모델과 데이터셋에서 일관된 성능 향상을 보이며, 강력한 일반성과 전이 가능성(transferability)을 입증한다.
• Amazon과 Yelp 데이터셋을 모두 사용해 프리트레인하면 단일 소스 사용보다 더 높은 성능 향상을 기대할 수 있으나, 계산 비용이 증가한다.
• 프리트레인 데이터 선택에 대해 강건한 성능을 보이며, 타겟 데이터셋과 도메인이 유사한 경우(예: Amazon → Laptop14, Yelp → Restaurant14) 더 높은 성능을 기록한다.