[논문 리뷰] KESA: A Knowledge Enhanced Approach For Sentiment Analysis

Qinghua Zhao, Shuai Ma외 1명|arXiv (Cornell University)|2022. 02. 24.

Topic Modeling인용 수 6

한 줄 요약

KESA는 피드백 분석 성능 향상을 위해 피드백 분석에 특화된 보조 작업 두 가지—감성 단어 빈칸 채우기(SWC)와 조건부 감성 예측(CSP)—를 제안한다. 이는 감성 단어를 마스킹하거나 대규모 사후 훈련 데이터에 의존하지 않고도 훈련 중에 통합된다. 이 방법은 BERT 및 지식 기반 모델을 일관되게 능가하며, 개별 작업에서 최대 0.86% 향상과 MR에서 0.76% 향상을 달성한다. 파라미터 증가율은 매우 낮고, 어휘 정확도 의존도도 감소시킨다.

ABSTRACT

Though some recent works focus on injecting sentiment knowledge into pre-trained language models, they usually design mask and reconstruction tasks in the post-training phase. In this paper, we aim to benefit from sentiment knowledge in a lighter way. To achieve this goal, we study sentence-level sentiment analysis and, correspondingly, propose two sentiment-aware auxiliary tasks named sentiment word cloze and conditional sentiment prediction. The first task learns to select the correct sentiment words within the input, given the overall sentiment polarity as prior knowledge. On the contrary, the second task predicts the overall sentiment polarity given the sentiment polarity of the word as prior knowledge. In addition, two kinds of label combination methods are investigated to unify multiple types of labels in each task. We argue that more information can promote the models to learn more profound semantic representation. We implement it in a straightforward way to verify this hypothesis. The experimental results demonstrate that our approach consistently outperforms pre-trained models and is additive to existing knowledge-enhanced post-trained models. The code and data are released at https://github.com/lshowway/KESA.

연구 동기 및 목표

• 대규모 사후 훈련 코퍼스에 대한 의존도를 줄이고, 지식 기반 사전 훈련 모델에서 감성 정보 손실을 방지하기 위해 마스킹 기법을 피하기 위해.
• 감성 어휘의 고정정확도에 의존도를 최소화하기 위해 단어 감성 정보를 출력 레이블이 아닌 입력 사전 정보로 취급함으로써.
• 두 가지 새로운 보조 작업을 통해 훈련 단계에서 감성 지식을 통합함으로써 문장 수준의 감성 분류 성능을 향상시키기 위해.
• 보조 작업에서 다중 유형의 감성 레이블을 통합하기 위한 효과적인 레이블 조합 전략(통합 vs. 조건부)을 조사하기 위해.
• 경량 지식 보강 토닝이 표준 및 기존 지식 기반 사전 훈련 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• 감성 단어가 마스킹된 문장과 K+1개의 선택지(정답 1개, 오답 K개)를 제공받는 감성 단어 빈칸 채우기(SWC)를 제안한다. 모델은 전체 문장의 극성에 기반해 정답 감성 단어를 선택한다.
• 조건부 감성 예측(CSP)을 도입한다. 입력 문장에서 특정 단어의 감성 극성에 조건부로 문장 수준의 감성 극성을 예측하며, 단어 감성 정보를 입력 컨텍스트로 취급한다.
• 각 보조 작업 내에서 다중 감성 레이블을 통합하기 위해 통합 확률과 조건부 확률 두 가지 레이블 조합 방법을 사용한다.
• 두 보조 작업을 모두 훈련 단계에만 통합하여 추가 사후 훈련을 피하고 추론 효율성을 유지한다.
• 감성 단어를 'MASK' 토큰으로 대체하여 의미 왜곡과 정보 손실을 방지한다.
• 최적의 성능는 낮은 보조 손실 가중치(예: 0.01)에서 관찰되며, 주 작업 손실에 보조 작업 손실을 균형 있게 가중하여 추가한다.

실험 결과

연구 질문

• RQ1 훈련 단계에서 감성 지식을 통합하는 보조 작업이 사후 훈련 접근 방식보다 감성 분석 성능에서 뛰어나게 되는가?
• RQ2 감성 단어를 출력 레이블이 아닌 입력 사전 정보로 취급함으로써 어휘 정확도 의존도를 줄이고 모델의 강건성을 향상시킬 수 있는가?
• RQ3 통합 및 조건부 레이블 조합 전략이 다중 레이블 감성 보조 작업에서 성능에 미치는 영향은 어떠한가?
• RQ4 경량 보조 작업을 훈련 단계에서만 사용하면 추론 비용 증가 없이도 일관된 성능 향상을 달성할 수 있는가? 도메인 특화 데이터가 필요 없는가?
• RQ5 지식 보강 토닝에서 주 작업 손실과 보조 작업 손실 간 최적의 균형은 무엇인가?

주요 결과

• KESA는 MR 데이터셋에서 0.76%의 절대적 향상을 기록했으며, SST2에서는 0.38%, SST5에서는 0.72%, IMDB에서는 0.1% 향상되었다. BERT보다 뛰어난 성능이다.
• SWC 작업만으로도 일부 데이터셋에서 최대 0.7% 향상되었으며, 이는 단어 수준 감성 감시의 가치를 입증한다.
• CSP 작업만으로 최대 0.86%의 향상을 기록했으며, 이는 단어에서 문장 수준 감성으로의 모델링이 주 작업 최적화에 기여함을 시사한다.
• SWC와 CSP를 병합해도 항상 성능 향상이 이루어지지는 않으며, 이는 잠재적인 부정적 전이 또는 작업 간 경쟁을 시사하지만, KESA는 여전히 베이스라인을 능가한다.
• 조건부 레이블 조합 전략은 대부분의 설정에서 통합 전략보다 성능이 뛰어나며, 특히 SentiLARE에서는 더욱 두드러진다. 따라서 조건부 전략을 기본 전략으로 권장한다.
• 표준 BERT 대비 파라미터 증가율은 약 0.7%에 불과하며, 보조 작업의 출력 공간이 작아 계산 오버헤드도 최소화되어 있다.