[논문 리뷰] Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

Chi Sun, Luyao Huang외 1명|arXiv (Cornell University)|2019. 03. 22.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 349

한 줄 요약

이 논문은 보조 문장을 구성하여 (T)ABSA를 문장-쌍 분류 태스크로 전환하고 BERT를 파인튜닝하여 SentiHood와 SemEval-2014 Task 4에서 새로운 최첨단 성능을 달성한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA), which aims to identify fine-grained opinion polarity towards a specific aspect, is a challenging subtask of sentiment analysis (SA). In this paper, we construct an auxiliary sentence from the aspect and convert ABSA to a sentence-pair classification task, such as question answering (QA) and natural language inference (NLI). We fine-tune the pre-trained model from BERT and achieve new state-of-the-art results on SentiHood and SemEval-2014 Task 4 datasets.

연구 동기 및 목표

• 사용자 코멘트에서 대상-특성에 대한 미세한 극성 이해의 필요성을 ABSA와 TABSA에 동기를 부여한다.
• 보조 문장을 사용해 (T)ABSA를 문장-쌍 분류 태스크로 변환하는 것을 제안한다.
• ABSA 태스크에서 BERT-쌍 모델이 단일 문장 BERT 베이스라인보다 성능이 우수함을 보인다.
• SentiHood와 SemEval-2014 Task 4 데이터셋에서 최첨단 결과에 대한 실증적 증거를 제공한다.

제안 방법

• 대상-특성 쌍으로 보조 문장을 구성하여 TABSA를 문장-쌍 분류 태스크로 전환한다.
• 보조 문장을 만들기 위한 네 가지 구성 방법을 정의한다: QA-M, NLI-M, QA-B, NLI-B.
• 카테고리별 소프트맥스를 갖는 표준 분류 헤드를 사용하여 문장-쌍 입력에 대해 사전 학습된 BERT를 파인튜닝한다.
• 네 가지 구성 방법에 걸쳐 BERT-single(단일 문장)과 BERT-pair(문장-쌍) 구성을 비교한다.
• 정확도, Macro-F1, AUC를 척도로 SentiHood와 SemEval-2014 Task 4 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 보조 문장을 통해 TABSA/ABSA를 문장-쌍 분류 태스크로 변환하는 것이 단일 문장 BERT 파인튜닝보다 성능을 향상시킬 수 있는가?
• RQ2 보조 문장 구성 방법 중 어느 것이 TABSA와 ABSA에 대해 최상의 결과를 제공하는가(QA 대 NLI; 레이블 포함 여부 여부)?
• RQ3 데이터셋과 하위 작업(특성 탐지 및 극성) 전반에 걸쳐 BERT-쌍 모델이 일관되게 BERT-싱글 모델을 능가하는가?

주요 결과

• BERT-쌍 모델이 특성 탐지와 감정 분류 모두에서 SentiHood 데이터셋의 모든 베이스라인을 능가한다.
• BERT-쌍 변형들 중 QA 기반 구성은 감정 분류에서 두드러진 성과를 보이고, NLI 기반 구성은 특성 탐지에서 두드러진 성과를 보인다.
• SemEval-2014 Task 4에서 BERT-쌍 구성이 최첨단 결과를 달성하며, NLI-B는 특성 탐지에서 강한 성능을, QA-B는 극성에서 강한 성능을 나타낸다.
• 개선은 TABSA를 문장-쌍 태스크로 표현하고, QA/NLI 스타일 입력에서 BERT의 강점을 활용하며 보조 문장을 통해 데이터를 효과적으로 확장하는 데서 기인한다.