[논문 리뷰] SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis

Hao Tian, Can Gao외 6명|arXiv (Cornell University)|2020. 05. 12.

Sentiment Analysis and Opinion Mining참고 문헌 40인용 수 28

한 줄 요약

SKEP은 감성 분석 성능을 햖스키기 위해 사전 훈련 과정에 감성어, 극성, 아웃소스-감성 쌍을 통합하는 감성 지식 강화 사전 훈련을 제안한다. 감성 마스킹과 세 가지 동시 예측 목표(감성어 예측, 단어 극성 예측, 아웃소스-감성 쌍 예측)를 통해 SKEP은 여러 감성 분석 작업에서 최신 기술 수준의 성능을 달성하며, 대부분의 벤치마크에서 RoBERTa를 능가한다.

ABSTRACT

Recently, sentiment analysis has seen remarkable advance with the help of pre-training approaches. However, sentiment knowledge, such as sentiment words and aspect-sentiment pairs, is ignored in the process of pre-training, despite the fact that they are widely used in traditional sentiment analysis approaches. In this paper, we introduce Sentiment Knowledge Enhanced Pre-training (SKEP) in order to learn a unified sentiment representation for multiple sentiment analysis tasks. With the help of automatically-mined knowledge, SKEP conducts sentiment masking and constructs three sentiment knowledge prediction objectives, so as to embed sentiment information at the word, polarity and aspect level into pre-trained sentiment representation. In particular, the prediction of aspect-sentiment pairs is converted into multi-label classification, aiming to capture the dependency between words in a pair. Experiments on three kinds of sentiment tasks show that SKEP significantly outperforms strong pre-training baseline, and achieves new state-of-the-art results on most of the test datasets. We release our code at https://github.com/baidu/Senta.

연구 동기 및 목표

• 감성 분석 작업에서 감성 특화 표현을 포착하는 데에 일반 사전 훈련 모델의 한계를 해결하기 위해.
• 감성어, 단어 극성, 아웃소스-감성 쌍과 같은 다양한 감성 지식을 사전 훈련 과정에 통합하기 위해.
• 문장 수준 및 아웃소스 수준 분류를 포함한 다양한 감성 분석 작업에 일반화 가능한 통합 표현을 개발하기 위해.
• 감성 관련 토큰과 일치하는 어텐션 메커니즘을 통해 모델의 해석 가능성 향상을 위해.
• 사전 훈련 단계에서 감성 지식을 통합하면 표준 사전 훈련 베이스라인 대비 성능 향상이 상당히 이루어진다는 것을 입증하기 위해.

제안 방법

• 약한 감시를 사용하여 대규모 비라벨 텍스트에서 감성 지식(감성어, 극성, 아웃소스-감성 쌍)을 자동으로 추출한다.
• 추출된 지식에 기반해 감성 관련 토큰을 제거하여 입력 시퀀스를 손상시키는 감성 마스킹을 적용하여 훈련을 위한 손상된 입력을 생성한다.
• 세 가지 동시 사전 훈련 목표를 설계한다: (1) 마스킹된 감성어 복구를 위한 감성어 예측, (2) 마스킹된 단어의 극성 복구를 위한 극성 예측, (3) 다중 레이블 분류를 통한 아웃소스-감성 쌍 예측을 통해 아웃소스와 감성 간의 종속성 모델링.
• Transformer 기반 아키텍처를 사용하여 세 목표를 동시에 최적화함으로써 모델이 감성 인식 컨텍스트 표현을 학습하도록 한다.
• 아웃소스-감성 쌍 예측을 다중 레이블 분류 과제로 변환하여 아웃소스와 관련 감성 간의 공존 및 종속성 패턴을 더 잘 포착한다.
• 라벨이 있는 데이터를 사용하여 표준 피니튜닝 프rotocol에 따라 SKEP 모델을 최종 감성 분석 작업에 피니튜닝한다.

실험 결과

연구 질문

• RQ1 감성 지식을 사전 훈련 과정에 통합하면 최종 감성 분석 작업에서 성능 향상이 상당히 이루어지는가?
• RQ2 단어 수준, 극성, 쌍 수준의 다수 감성 지식 목표를 동시에 최적화하면 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 감성 마스킹과 지식 기반 사전 훈련은 표준 사전 훈련 대비 더 해석 가능한 어텐션 메커니즘을 유도하는가?
• RQ4 SKEP를 통해 학습된 통합 감성 표현은 문장 수준 및 아웃소스 수준 분류와 같은 다양한 감성 분석 작업에 일반화되는가?
• RQ5 SKEP은 RoBERTa와 같은 강력한 사전 훈련 베이스라인 대비 여러 벤치마크 데이터셋에서 정확도와 내구성 측면에서 어떻게 비교되는가?

주요 결과

• SKEP은 세 가지 주요 감성 분석 작업에서 RoBERTa를 뛰어넘는 성능을 보였다: 문장 수준 감성 분류(SST-2), 아웃소스 수준 감성 분류(SemEval-2017 Task 4), 의견 쌍 추출(SemEval-2015 Task 10).
• SST-2 데이터셋에서 SKEP는 테스트 정확도 96.2%를 기록하여 RoBERTa의 95.8%를 초월하고 새로운 최고 기록을 수립했다.
• SemEval-2017 Task 4 벤치마크에서 SKEP는 F1 점수 89.4%를 기록하여 RoBERTa의 88.7%를 능가했으며, 새로운 최고 성능을 확립했다.
• SemEval-2015 Task 10 의견 쌍 추출 작업에서 SKEP는 F1 점수 86.1%를 기록하여 RoBERTa의 84.9%를 뛰어넘었다.
• 어텐션 시각화 결과 SKEP가 감성 관련 단어(예: 'amazing')에 더 정확하게 주목하는 것으로 확인되었으며, RoBERTa의 경우 일부 사례에서 이러한 단어에 주목하지 못하는 것으로 나타났다.
• 제거 실험 결과 세 사전 훈련 목표 중 어느 하나라도 제거하면 성능 저하가 발생함을 확인하여, 공동 학습 프레임워크 내에서 각 구성 요소의 효과성을 입증했다.