[논문 리뷰] SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge

Pei Ke, Haozhe Ji외 3명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 46인용 수 7

한 줄 요약

SentiLARE는 문장 수준의 감성 분석 성능을 향상시키기 위해 BERT 스타일 아키텍처에 어순 태그와 SentiWordNet에서 유도한 맥락 인식 감성 극성과 같은 단어 수준의 언어 지식을 통합하는 감성 인식 사전 훈련 언어 모델이다. 이는 레이블 인식 마스킹 언어 모델링이라는 새로운 사전 훈련 작업을 통해 이를 달성한다. 이 모델은 지역적 언어 지식과 전반적인 문장 표현 간의 융합을 통해 초기 융합 및 후행 감독 방식을 통해 여러 감성 분석 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most of the existing pre-trained language representation models neglect to consider the linguistic knowledge of texts, which can promote language understanding in NLP tasks. To benefit the downstream tasks in sentiment analysis, we propose a novel language representation model called SentiLARE, which introduces word-level linguistic knowledge including part-of-speech tag and sentiment polarity (inferred from SentiWordNet) into pre-trained models. We first propose a context-aware sentiment attention mechanism to acquire the sentiment polarity of each word with its part-of-speech tag by querying SentiWordNet. Then, we devise a new pre-training task called label-aware masked language model to construct knowledge-aware language representation. Experiments show that SentiLARE obtains new state-of-the-art performance on a variety of sentiment analysis tasks.

연구 동기 및 목표

• 기존 사전 훈련 모델이 어순 태그 및 감성 극성과 같은 단어 수준의 언어 지식을 忽시하는 한계를 해결하기 위해.
• 사전 훈련 표현에 맥락적 언어 지식을 통합하여 최종 NLP 작업에서 감성 이해를 향상시키기 위해.
• 단어 수준의 언어 지식과 문장 수준의 감성 레이블 간에 효과적으로 연결하는 사전 훈련 작업을 설계하기 위해.
• 제안된 방법이 감성 분석을 넘어서 감성을 포함하는 다른 NLP 작업으로 일반화되는지 평가하기 위해.

제안 방법

• 어휘와 그 어순 태그를 사용해 SentiWordNet을 쿼리하여 각 단어의 감성 극성을 추론하기 위해 맥락 인식 감성 주의 메커니즘을 사용한다.
• 모델은 레이블 인식 마스킹 언어 모델링이라는 새로운 사전 훈련 작업을 도입하며, 이는 초기 융합(감성 레이블을 입력 임베딩에 통합)과 후행 감독(레이어 출력에서 레이블을 사용)이라는 두 가지 하위 작업을 포함한다.
• 입력 임베딩에 단어 수준의 언어 지식(어순 태그 및 감성 극성)을 통합하여 맥락적 표현을 풍부하게 한다.
• 사전 훈련 단계에서 얻은 풍부한 표현을 사용해 최종 감성 분석 작업에서 모델을 미세 조정한다.
• 레이블 인식 마스킹 언어 모델링 작업은 마스킹된 단어 예측, 어순 태깅, 감성 극성 예측, 문장 수준 감성 레이블 예측을 동시에 최적화한다.
• 이 방법은 RoBERTa, BERT, ALBERT에 대해 평가하여 다양한 사전 훈련 모델 아키텍처 간의 이식 가능성을 점검한다.

실험 결과

연구 질문

• RQ1 맥락 인식 언어 지식(POS 및 감성 극성)을 사전 훈련 모델에 통합하면 감성 분석 작업 성능 향상에 기여하는가?
• RQ2 제안된 레이블 인식 마스킹 언어 모델링 사전 훈련 작업이 단어 수준 지식과 문장 수준 감성 간의 연결에 얼마나 효과적인가?
• RQ3 언어 지식 통합이 감성 분석을 넘어서 감성을 포함하는 다른 NLP 작업으로 일반화되는가?
• RQ4 제안된 방법이 문장 수준 및 요소 수준 감성 분석 벤치마크에서 기존 최신 기술 수준 모델을 초월할 수 있는가?

주요 결과

• SentiLARE는 SST-2, SST-Less, SST-More 및 여러 요소 수준 작업을 포함한 여러 감성 분석 벤치마크에서 새로운 최신 기술 수준의 성능을 달성한다.
• SST-More 서브셋에서 SentiLARE는 RoBERTa보다 정확도 4.11% 향상되고, SentiLARE-EF-LS보다 2.93% 높아, 사전 훈련 작업의 효과성을 입증한다.
• BERT와 ALBERT 기반의 SentiLARE는 모든 평가된 작업에서 원본 모델보다 뛰어난 성능을 보이며, 다양한 사전 훈련 모델에 대한 이식 가능성 확인한다.
• 모델은 감성 분석 외 작업으로도 일반화된다: 텍스트 매칭 작업(스토리 끝 예측, 텍스트 함의, 의미적 텍스트 유사도)에서 SentiLARE는 RoBERTa의 정확도를 1.52% 향상시키고, 상관계수를 최대 0.89 포인트 향상시킨다.
• 제거 실험 결과, 레이블 인식 마스킹 언어 모델링 작업이 핵심임을 확인하였으며, 후행 감독이 없는 SentiLARE-EF-LS는 특히 복잡한 데이터셋인 SST-More에서 전체 SentiLARE 모델보다 성능이 열 劣한다.
• 맥락 인식 감성 주의 메커니즘은 다양한 어순과 맥락에서 단어의 다양한 감성 역할을 성공적으로 포착하며, 정적 감성 어휘보다 뛰어난 성능을 보인다.