[논문 리뷰] SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics

Da Yin, Tao Meng외 1명|arXiv (Cornell University)|2020. 05. 08.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 19

한 줄 요약

SentiBERT는 이원 구성 문법 구문 트리와 맥락 기반 표현을 이원적 주의 메커니즘을 통해 통합함으로써 조합적 감성 의미를 향상시키는 BERT 기반 아키텍처이다. 문장 수준의 감성 분류에서 최고 성능을 기록하며, 감정 분류 및 트위터 감성 분석과 같은 관련 작업으로의 전이 능력이 뛰어나며, 특히 부정과 대조 관계를 다룰 때 뛰어난 성능을 보인다.

ABSTRACT

We propose SentiBERT, a variant of BERT that effectively captures compositional sentiment semantics. The model incorporates contextualized representation with binary constituency parse tree to capture semantic composition. Comprehensive experiments demonstrate that SentiBERT achieves competitive performance on phrase-level sentiment classification. We further demonstrate that the sentiment composition learned from the phrase-level annotations on SST can be transferred to other sentiment analysis tasks as well as related tasks, such as emotion classification tasks. Moreover, we conduct ablation studies and design visualization methods to understand SentiBERT. We show that SentiBERT is better than baseline approaches in capturing negation and the contrastive relation and model the compositional sentiment semantics.

연구 동기 및 목표

• 복합 문장에서 부정 및 대조를 포함한 조합적 감성 의미를 모델링하는 데 도전하는 것.
• 이원 구성 트리와 같은 문법적 구조를 BERT의 맥락 기반 표현과 통합하여 감성의 조합성을 향상시키는 것.
• SST에서 레이블이 매겨진 문장 수준 데이터에서 학습한 감성 조합성을 다른 감성 분석 및 감정 분류 작업으로 전이할 수 있는지 평가하는 것.
• 약한 감독 설정 하에서 모델의 해석 가능성과 내성적 안정성 분석하기

제안 방법

• SentiBERT는 맥락 기반 토큰 표현을 생성하기 위해 BERT를 백본으로 사용한다.
• 이원적 주의 메커니즘이 문장 표현을 구성한다: 먼저 구성 요소 토큰에 주의를 기울이고, 그 다음 자식 노드 표현을 사용해 이를 개선한다.
• 의미 조합 모듈은 마스크된 언어 모델링과 문장 수준의 감성 예측을 함께 끝내기까지 훈련된다.
• SST(Sentiment Treebank)에서의 문장 수준 감성 레이블이 조합 모듈의 지도 학습에 사용된다.
• 모델은 문장 수준 및 문장 수준 레이블을 모두 사용하여 최종 작업에 대해 피니튜닝된다.
• 제거 실험과 주의 시각화를 통해 모델 행동을 해석하고 문법적 및 맥락적 구성 요소의 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 SentiBERT 기반 모델이 문법적 구조와 맥락 표현을 통합함으로써 조합적 감성 의미를 효과적으로 포착할 수 있는가?
• RQ2 SentiBERT는 부정 및 대조 관계를 다룰 때 베이스라인 모델 대비 문장 수준 감성 분류에서 어떻게 성능을 내는가?
• RQ3 SST에서 학습한 감성 조합성이 다른 감성 분석 및 감정 분류 작업으로 얼마나 잘 전이될 수 있는가?
• RQ4 SentiBERT가 강력한 성능을 내기 위해 얼마나 많은 문장 수준의 감독이 필요한가? 그리고 약한 감독에서 고신뢰도 예측이 결과를 향상시킬 수 있는가?

주요 결과

• SentiBERT는 SST-5 문장 수준 감성 분류 벤치마크에서 30.7%의 정확도를 기록하여, 평균 풀링을 사용한 BERT(26.1%) 및 기타 BERT 변종을 능가한다.
• 대조 관계를 다룰 때 기존 모델 대비 1%의 유의미한 향상이 있었으며, 'X but Y' 삼중 조합 평가에서 30.7%의 정확도를 기록했다.
• 부정을 포함한 문장에서 SentiBERT는 베이스라인 모델보다 더 큰 폭으로 성능을 높여 부정 효과를 더 잘 다루는 것으로 나타났다.
• 문장 수준 레이블의 30–50%만으로도 SentiBERT는 SST-5와 SST-3에서 경쟁적인 성능을 기록했으며, XLNet에 근접한 성능을 보였다.
• 문장 수준 감독이 전혀 없이도, 사전 훈련 단계에서 문장 수준 레이블의 70–80%를 사용하면 SentiBERT는 트위터 감성 분석에서 XLNet과 동등한 성능을 기록했다.
• SST-3의 40–50%의 문장 수준 노드에서 예측 신뢰도가 0.9 초과였으며, 이들 고신뢰도 예측의 정확도는 90%를 초과하여, 약한 감독의 잠재적 활용 가능성을 시사한다.