[논문 리뷰] SentiPrompt: Sentiment Knowledge Enhanced Prompt-Tuning for Aspect-Based Sentiment Analysis

Chengxi Li, Feiyu Gao외 9명|arXiv (Cornell University)|2021. 09. 17.

Sentiment Analysis and Opinion Mining참고 문헌 40인용 수 57

한 줄 요약

SentiPrompt는 ABSA를 위한 언어 모델 조정을 위한 감정 지식 강화 프롬프트를 도입하여 통일된 생성 프레임워크에서 명시적으로 측면-의견-극성 관계를 모델링하고 ABSA 하위작업과 데이터 세트 전반에서 최첨단 결과를 달성합니다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) is an emerging fine-grained sentiment analysis task that aims to extract aspects, classify corresponding sentiment polarities and find opinions as the causes of sentiment. The latest research tends to solve the ABSA task in a unified way with end-to-end frameworks. Yet, these frameworks get fine-tuned from downstream tasks without any task-adaptive modification. Specifically, they do not use task-related knowledge well or explicitly model relations between aspect and opinion terms, hindering them from better performance. In this paper, we propose SentiPrompt to use sentiment knowledge enhanced prompts to tune the language model in the unified framework. We inject sentiment knowledge regarding aspects, opinions, and polarities into prompt and explicitly model term relations via constructing consistency and polarity judgment templates from the ground truth triplets. Experimental results demonstrate that our approach can outperform strong baselines on Triplet Extraction, Pair Extraction, and Aspect Term Extraction with Sentiment Classification by a notable margin.

연구 동기 및 목표

• ABSA를 다단계 파이프라인이 아닌 단일 통합 엔드-투-엔드 과제로 동기를 부여한다.
• 감정 지식을 활용하여 프롬프트에 측면, 의견, 극성 정보를 주입한다.
• 일관성 및 극성 템플릿을 통해 측면 용어와 의견 용어 간의 관계를 명시적으로 모델링한다.
• 학습 가능한 프롬프트 인코더를 사용한 프롬프트 튜닝을 통해 ABSA 하위작업(AESC, Pair, Triplet)의 성능을 향상시킨다.

제안 방법

• ABSA 출력을 인덱스 시퀀스로 생성하기 위해 포인터 네트워크가 포함된 단일 생성 프레임워크(BART)를 채택한다.
• 실제 트리플로부터 감정 지식 강화 프롬프트를 구성하고 마스킹된 언어 모델링을 수행하여 SentiPrompt MLM을 도입한다.
• 가상의 프롬프트 토큰 임베딩을 대체하여 학습 가능한 연속 프롬프트 표현을 얻기 위해 프롬프트 인코더를 사용한다.
• 일관성 및 극성 판단 프롬프트를 구성하여 인코더를 감독하고 명시적으로 aspect–opinion–polarity 관계를 포착한다.
• SentiPrompt MLM 손실과 생성 손실을 혼합하여 인코더와 인덱스 제너레이터를 함께 학습한다.
• AESC, Pair, Triplet 작업 전반에 걸쳐 답변의 인덱스(a, o, s)를 예측하기 위해 인코더–디코더(BART)와 포인터 네트워크를 갖춘 생성 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 감정 지식을 어떻게 효과적으로 프롬프트에 주입하여 ABSA 작업을 이끌 수 있을까?
• RQ2 작업 적응 프롬프트를 갖춘 단일 생성 프레임워크가 다단계 또는 일반적인 미세 조정 ABSA 모델을 능가할 수 있을까?
• RQ3 프롬프트를 통한 aspect–opinion–polarity 관계의 명시적 모델링이 트리플 추출 및 관련 하위작업을 향상시키는가?
• RQ4 프롬프트 인코더와 연속 프롬프트 표현이 ABSA 성능에 미치는 영향은 무엇인가?

주요 결과

• SentiPrompt는 강력한 기준선 대비 여러 하위작업과 데이터셋에서 ABSA 성능을 향상시킨다.
• 프롬프트 기반 감정 지식 주입은 인코더가 측면 용어와 의견 용어 간의 명시적 관계를 학습하도록 돕는다.
• 학습 가능한 프롬프트 인코더를 통한 연속 프롬프트 표현은 수동으로 설계된 프롬프트에 비해 성능 향상에 기여한다.
• 이 방법은 단일 프레임워크 내에서 AESC, Pair, Triplet 작업 전반에 걸쳐 효과적이다.
• SentiPrompt는 여러 데이터셋에서 최첨단 기준선을 상회하며 ABSA에 대한 감정 지식 강화 프롬프트의 효과를 입증한다.