[논문 리뷰] SentiLR: Linguistic Knowledge Enhanced Language Representation for Sentiment Analysis.

Pei Ke, Haozhe Ji외 3명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 51인용 수 27

한 줄 요약

SentiLR는 문장 수준의 감성 레이블을 기반으로 단어 수준의 언어학적 지식—품사 태깅 및 SentiWordNet 기반 감성 극성—을 사전 훈련에 통합함으로써 감성 분석을 향상시키는 새로운 언어 표현 모델이다. 이 모델은 두 가지 하위 작업을 수행하는 레이블 인식 마스킹 언어 모델(LA-MLM)을 도입한다: 문장 수준의 감성 레이블이 주어졌을 때 언어학적 지식을 복구하고, 지식 강화된 컨텍스트를 사용해 레이블을 예측하는 것이다. 이는 문장 수준 및 아키텍처 수준의 감성 분석 작업에서 최고 성능을 기록한다.

ABSTRACT

Most of the existing pre-trained language representation models neglect to consider the linguistic knowledge of texts, whereas we argue that such knowledge can promote language understanding in various NLP tasks. In this paper, we propose a novel language representation model called SentiLR, which introduces word-level linguistic knowledge including part-of-speech tag and prior sentiment polarity from SentiWordNet to benefit the downstream tasks in sentiment analysis. During pre-training, we first acquire the prior sentiment polarity of each word by querying the SentiWordNet dictionary with its part-of-speech tag. Then, we devise a new pre-training task called label-aware masked language model (LA-MLM) consisting of two subtasks: 1) word knowledge recovering given the sentence-level label; 2) sentence-level label prediction with linguistic knowledge enhanced context. Experiments show that SentiLR achieves state-of-the-art performance on several sentence-level / aspect-level sentiment analysis tasks by fine-tuning, and also obtain comparative results on general language understanding tasks.

연구 동기 및 목표

• 기존의 사전 훈련된 언어 모델이 언어학적 지식을 활용하여 감성 이해를 향상시키는 데에 한계가 있다는 문제를 해결하기 위해.
• 품사 태깅과 SentiWordNet에서 유도한 사전 감성 극성 정보를 통합함으로써 표현 학습이 감성 분석에 어떻게 향상되는지 조사하기 위해.
• 언어학적 지식과 문장 수준의 감성 레이블을 동시에 활용하여 최적화된 사전 훈련 목표를 개발하기 위해.
• 제안된 모델이 감성 분석 전용 및 일반 언어 이해 작업 모두에서 효과적으로 작동하는지 평가하기 위해.

제안 방법

• 각 단어의 품사 태그를 사용하여 SentiWordNet을 쿼리함으로써 사전 감성 극성 값을 확보한다.
• 두 가지 하위 작업을 수행하는 레이블 인식 마스킹 언어 모델(LA-MLM)을 설계한다: (1) 문장 수준의 레이블이 주어졌을 때 마스킹된 언어학적 지식(품사 태깅 및 감성 극성)을 복구하고, (2) 언어학적 지식로 강화된 컨텍스트를 사용해 문장 수준의 레이블을 예측한다.
• 사전 훈련 중에 품사 태깅과 감성 점수를 조건으로 하여 언어학적 지식을 입력 표현에 통합한다.
• 대규모 텍스트 데이터를 사용하여 LA-MLM 목표를 기반으로 SentiLR를 사전 훈련함으로써 문맥 표현을 언어학적 특징과 감성 레이블 양쪽과 일치시킨다.
• 문장 수준 및 아키텍처 수준의 감성 분류를 포함한 다양한 감성 분석 작업에 대해 최종 훈련을 수행한다.
• 감성 분석 벤치마크와 일반 NLP 작업에서 성능을 평가하여 이식 가능성과 효과성을 점검한다.

실험 결과

연구 질문

• RQ1 품사 태깅과 SentiWordNet 기반 감성 극성을 통합하면 감성 분석을 위한 언어 표현 학습이 향상되는가?
• RQ2 언어학적 지식을 활용하는 레이블 인식 마스킹 언어 모델링 목표가 감성 분류 작업에서 더 나은 성능을 내는가?
• RQ3 SentiLR는 감성 전용 및 일반 언어 이해 벤치마크에서 기존의 사전 훈련된 모델과 비교해 어떻게 성능을 내는가?
• RQ4 언어학적 지식의 통합이 감성 분석에서 제로샷 또는 희소한 샘플 전이 학습에서 얼마나 효과적인가?

주요 결과

• SentiLR는 최종 훈련 후 여러 문장 수준 감성 분석 벤치마크에서 최고 성능을 기록한다.
• 모델은 아키텍처 수준 감성 분석 작업에서도 경쟁력 있는 성능을 달성하여 미세한 감성 이해 능력이 뛰어나다는 것을 입증한다.
• 일반 언어 이해 작업에서 강력한 일반 목적 언어 모델과 유사한 성능을 보이며, 넓은 이식 가능성임을 시사한다.
• 제거 실험 결과, 언어학적 지식 통합과 LA-MLM 사전 훈련 목표 모두 성능 향상에 기여한다는 점이 확인된다.
• SentiWordNet에서 유도된 감성 극성과 품사 태깅을 사용함으로써 모델이 컨텍스트 내 감성 관련 특징을 더 잘 포착할 수 있게 된다.
• 레이블 인식 사전 훈련 목표는 문맥 표현과 감성 레이블 간의 일치도를 향상시켜 최종 작업의 정확도를 높인다.