[논문 리뷰] Improving BERT Performance for Aspect-Based Sentiment Analysis

Akbar Karimi, Leonardo Rossi외 1명|arXiv (Cornell University)|2020. 10. 22.

Sentiment Analysis and Opinion Mining참고 문헌 28인용 수 28

한 줄 요약

이 논문은 BERT의 백본을 재학습하지 않고도 Aspect-Based Sentiment Analysis (ABSA) 작업에서 성능을 향상시키기 위해 두 가지 경량 모듈—Parallel Aggregation (P-SUM)과 Hierarchical Aggregation (H-SUM)—을 제안한다. CRFs를 사용해 마지막 BERT 레이어의 표현을 집계함으로써 Aspect Extraction에 대해 손실를 계산하고, Aspect Sentiment Classification에 대해 교차 엔트로피 손실를 적용함으로써, 모델은 SOTA 성능을 달성한다. 특히, 4개의 학습 에포크 동안 BERT-PT보다 최대 +2.00 Macro-F1 향상된 결과를 기록한다.

ABSTRACT

Aspect-Based Sentiment Analysis (ABSA) studies the consumer opinion on the market products. It involves examining the type of sentiments as well as sentiment targets expressed in product reviews. Analyzing the language used in a review is a difficult task that requires a deep understanding of the language. In recent years, deep language models, such as BERT \cite{devlin2019bert}, have shown great progress in this regard. In this work, we propose two simple modules called Parallel Aggregation and Hierarchical Aggregation to be utilized on top of BERT for two main ABSA tasks namely Aspect Extraction (AE) and Aspect Sentiment Classification (ASC) in order to improve the model's performance. We show that applying the proposed models eliminates the need for further training of the BERT model. The source code is available on the Web for further research and reproduction of the results.

연구 동기 및 목표

• BERT의 백본을 재학습하지 않고 Aspect-Based Sentiment Analysis (ABSA) 작업에서 성능을 향상시키는 것.
• 표준 BERT 미세조정이 ABSA의 시퀀스 레이블링 및 텍스트 분류 작업에서 가지는 한계를 해결하는 것.
• 더 깊은 BERT 레이어에서 유도된 더 깊은 의미적 표현이 액센트 추출 및 감성 분류에 기여할 수 있는지 탐색하는 것.
• 표준 에포크 수를 초월한 더 긴 학습 스케줄이 과적합 없이 성능 향상에 기여하는지 검증하는 것.
• 기존의 BERT 기반 ABSA 파ip라인과 호환 가능한 플러그 앤 플레이 강화 프레임워크를 제공하는 것.

제안 방법

• 최종 네 개의 BERT 레이어에서 독립적으로 손실를 계산하고 요소별 평균을 통해 통합하는 Parallel Aggregation (P-SUM)을 제안한다.
• 최종 네 개의 BERT 레이어를 스택하여 마지막 레이어의 출력에서 단일 손실를 계산하는 Hierarchical Aggregation (H-SUM)을 도입한다.
• 시퀀스 내 레이블 간 의존성을 모델링하기 위해 Aspect Extraction (AE)에 Conditional Random Fields (CRFs)를 사용한다.
• Aspect Sentiment Classification (ASC)에 교차 엔트로피 손실를 적용하며, 마지막 BERT 레이어의 [CLS] 토큰 표현을 사용한다.
• 레스토랑 및 랩탑 데이터셋에서 도메인 특화 사전학습을 활용해 BERT-PT 임베딩을 초기화한다.
• BERT 파rameter를 동결한 채로 추가 레이어에만 집중하여, 제안된 모듈을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 BERT의 더 깊은 레이어에서 유도된 표현을 집계함으로써, BERT를 재학습하지 않고도 ABSA 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 BERT의 최종 레이어 집합을 계층적 또는 병렬적으로 집계할 경우, AE 및 ASC 작업에서 더 나은 성능을 내는가?
• RQ3 저자원 ABSA 환경에서 과적합 없이 더 긴 학습 스케줄이 성능 향상에 기여하는가?
• RQ4 AE에서 표준 CRF 미사용 접근법과 비교해 CRFs를 사용할 경우 어떤 차이가 있는가?
• RQ5 플러그인 모듈 프레임워크가 더 적은 학습 에포크로 표준 BERT-PT 미세조정보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 레스토랑 데이터셋에서 H-SUM은 AE 작업에서 Macro-F1 82.34를 기록했으며, BERT-PT(82.64)를 0.30 포인트 뛰어넘었다.
• 랩탑 데이터셋에서 H-SUM은 ASC 작업에서 Macro-F1 79.67를 달성했으며, BERT-PT(76.96)를 2.71 포인트 뛰어넘었다.
• 레스토랑 데이터셋에서 H-SUM은 ASC 작업에서 Macro-F1 79.67를 기록했으며, BERT-PT 대비 +2.00 향상된 성능을 보였다.
• 모든 작업 및 데이터셋에서 4개의 에포크 동안만 훈련한 모델들이 BERT-PT의 30개 에포크 훈련 결과를 모두 초월했다.
• 검증 손실는 더 많은 에포크가 진행될수록 계속 감소하는 경향을 보였으며, 제한된 훈련 데이터에도 불구하고 과적합이 발생하지 않았다.
• 최종 네 개의 BERT 레이어를 사용했을 때 가장 뛰어난 성능가 관찰되었으며, 더 깊은 레이어에서 더 강력한 의미적 표현 능력을 보였다.