[논문 리뷰] Understanding Pre-trained BERT for Aspect-based Sentiment Analysis

Hu Xu, Lei Shu외 2명|arXiv (Cornell University)|2020. 10. 31.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 7

한 줄 요약

이 논문은 BERT의 마스킹된 언어 모델링(MLM) 사전 훈련이 개별 기반 감성 분석(ABSA) 기능을 어떻게 포착하는지 조사한다. 그 결과, BERT는 도메인 특화 의미와 개별 요소 정체성에 대부분의 표현 용량을 할애하지만, 의견 요약을 위한 최소한의 특징을 사용하는 것으로 드러났다. 요소 추출에서는 뛰어난 성능을 보였지만, MLM은 개별 요소 표현 내에서 의견 극성 모델링가 부족하여 감성 분류에 대해 약한 사전 과제로 기능한다.

ABSTRACT

This paper analyzes the pre-trained hidden representations learned from reviews on BERT for tasks in aspect-based sentiment analysis (ABSA). Our work is motivated by the recent progress in BERT-based language models for ABSA. However, it is not clear how the general proxy task of (masked) language model trained on unlabeled corpus without annotations of aspects or opinions can provide important features for downstream tasks in ABSA. By leveraging the annotated datasets in ABSA, we investigate both the attentions and the learned representations of BERT pre-trained on reviews. We found that BERT uses very few self-attention heads to encode context words (such as prepositions or pronouns that indicating an aspect) and opinion words for an aspect. Most features in the representation of an aspect are dedicated to the fine-grained semantics of the domain (or product category) and the aspect itself, instead of carrying summarized opinions from its context. We hope this investigation can help future research in improving self-supervised learning, unsupervised learning and fine-tuning for ABSA. The pre-trained model and code can be found at https://github.com/howardhsu/BERT-for-RRC-ABSA.

연구 동기 및 목표

• BERT의 레이블이 없는 리뷰에 대한 자기지도 사전 훈련이 최종적인 ABSA 작업을 어떻게 지원하는지 이해하기 위해.
• 마스킹된 언어 모델링(MLM) 목적함수가 요소 추출과 감성 분류에 필수적인 특징을 학습하는지 조사하기 위해.
• 사전 훈련된 BERT 표현이 의견 극성 또는 주로 요소 의미론과 도메인 맥락에 민감한지 확인하기 위해.
• 다양한 도메인 간 학습된 표현의 일반화 가능성 분석을 통해 0-샷 또는 비지도 ABSA의 타당성을 평가하기 위해.
• MLM이 ABSA에 대해 약한 사전 과제로 작용하는 이유를 규명하고, 향상된 자기지도 학습 방향을 제안하기 위해.

제안 방법

• 아마존과 요elp 리뷰를 조합한 20GB 이상의 코퍼스에 대해 사전 훈련된 BERT를 사용하여 도메인 커버리지 향상.
• 분석을 위해 SemEval-2014 및 SemEval-2016 데이터셋을 사용하였으며, 파인튜닝 없이 은닉 표현과 어텐션 헤드를 분석.
• 최종 BERT 레이어에서 요소 토큰과 비요소 토큰의 잠재 공간을 분석하기 위해 t-SNE 시각화를 적용.
• 고정된 BERT 표현에 대해 L1-노름 로지스틱 회귀 프로브를 훈련하여 요소 및 감성 분류에 중요한 뉴런을 식별.
• 다중어절 요소의 토큰 표현을 평균화하고 잠재 공간 내에서의 클러스터링을 분석.
• 다른 극성의 의견 단어 표현을 비교하여 감성이 별도의 하위 공간에 인코딩되어 있는지 평가.

실험 결과

연구 질문

• RQ1 BERT의 MLM 사전 훈련이 ABSA에서 요소와 비요소를 구분하는 데 얼마나 효과적으로 특징을 학습하는가?
• RQ2 BERT의 학습된 표현이 요소의 감성 극성을 얼마나 잘 인코딩하는가? 이러한 특징들은 특정 뉴런에 집중되어 있는가?
• RQ3 BERT의 잠재 공간에 존재하는 일반화 가능한, 파인튜닝 없이 요소를 탐지할 수 있는 도메인 간 뉴런이 있는가?
• RQ4 요소 표현의 잠재 공간이 의미적 유사성보다 감성 극성에 더 강하게 반영되는가?
• RQ5 왜 MLM은 종단 간 ABSA, 특히 감성 분류에 대해 약한 사전 과제인가?

주요 결과

• BERT는 도메인 특화 의미론과 요소 정체성에 대부분의 표현 용량을 할애하며, 의견 요약을 위한 최소한의 특징을 할당한다.
• 요소 표현은 의미적 유사성과 도메인에 따라 클러스터링되며, 요소 의미론과 맥락에 강력하게 인코딩되어 있지만 감성은 아니다.
• BERT의 잠재 공간에서 요소 추출에 항상 중요한 뉴런은 존재하지 않으며, 모든 뉴런을 사용할 경우 F1은 79%에서 단일 뉴런만 사용할 경우 31%로 떨어진다.
• 고정된 BERT 표현에 대한 프로브를 통해 감성 분류는 83%의 F1을 달성하지만, 뚜렷한 주요 뉴런은 나타나지 않아 분산된 감성 인코딩을 의미한다.
• 다른 극성의 의견 어휘는 잠재 공간의 겹치는 영역를 차지하고 있어, 감성이 별도의 하위 공간에 인코딩되어 있지는 않으며, 대신 의미론적 및 맥락적 신호에 의해 표현됨을 시사한다.
• MLM 목적함수는 요소 표현과 관련된 의견을 강하게 연관시키지 못해, 의견 요약이 필요한 종단 간 ABSA 작업에 있어 근본적인 한계를 드러낸다.