[논문 리뷰] Exploiting BERT for End-to-End Aspect-based Sentiment Analysis

Xin Li, Lidong Bing외 2명|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 82인용 수 47

한 줄 요약

요지는: 이 논문은 단순한 다운스트림 계층이 달라붙은 BERT가 기존 E2E-ABSA 모델을 능가할 수 있음을 보여주며, BERT 기반 벤치마크를 확립하고 파인튜닝의 중요성을 강조한다. 또한 여러 BERT 기반 아키텍처를 평가하고 두 개의 SemEval 파생 데이터셋에서 과적합에 대한 강건함을 시연한다.

ABSTRACT

In this paper, we investigate the modeling power of contextualized embeddings from pre-trained language models, e.g. BERT, on the E2E-ABSA task. Specifically, we build a series of simple yet insightful neural baselines to deal with E2E-ABSA. The experimental results show that even with a simple linear classification layer, our BERT-based architecture can outperform state-of-the-art works. Besides, we also standardize the comparative study by consistently utilizing a hold-out validation dataset for model selection, which is largely ignored by previous works. Therefore, our work can serve as a BERT-based benchmark for E2E-ABSA.

연구 동기 및 목표

• Contextualized embeddings from BERT의 End-to-End Aspect-based Sentiment Analysis(E2E-ABSA)에서의 효과성 평가.
• BERT 위에 간단한 다운스트림 아키텍처들(선형, GRU, self-attention, CRF)을 E2E-ABSA의 시퀀스 표기에 대해 조사.
• 모델 선택을 위한 홀드아웃 개발 세트를 포함한 표준화된 평가 설정 제공.
• 재현성을 위한 오픈 소스 코드 공개 및 E2E-ABSA를 위한 BERT 기반 벤치마크 제공.

제안 방법

• 입력 토큰에 대해 사전 학습된 BERT 모델로 컨텍스추얼라이즈드 표현 H^L를 획득한다.
• BERT 위에 간단한 E2E-ABSA 계층을 부착하고 선형, GRU, self-attention(SAN), 및 변환기 기반(TFM) 변형을 탐색한다.
• 선형-체인 CRF 계층을 옵션으로 추가하여 Viterbi 디코딩을 통한 시퀀스 의존성을 모델링한다.
• 작업 성능을 극대화하기 위해 BERT를 고정 특성 추출기로 사용하는 것보다 파인 튀닝한다.
• LAPTOP 및 REST 데이터셋에서 전통적인 LSTM-CRF 및 다른 ABSA 베이스라인과 비교한다.
• 개발 세트와 테스트 세트에서 마이크로 평균 F1 점수를 사용해 결과를 보고한다.

실험 결과

연구 질문

• RQ1 BERT 컨텍스추얼라이즈드 임베딩만으로(간단한 선형 분류기와 함께) 기존의 E2E-ABSA 모델을 능가할 수 있는가?
• RQ2 더 강력한 다운스트림 계층(GRU, SAN, 변환기 유사, CRF)이 BERT 표현을 사용할 때 선형 분류기에 비해 유의한 이득을 제공하는가?
• RQ3 BERT 파인튜닝이 최적의 E2E-ABSA 성능에 필수적인가, 아니면 BERT를 고정된 특징 추출기로 사용할 수 있는가?
• RQ4 작은 데이터셋에서 BERT 기반 E2E-ABSA 모델의 과적합에 대한 강건성은 어떤가?
• RQ5 표준 ABSA 벤치마크에서 BERT 기반 접근법은 기존의 최첨단 모델과 어떻게 비교되는가?

주요 결과

Model	LAPTOP P	LAPTOP R	LAPTOP F1	REST P	REST R	REST F1
Li et al. 2019a (existing)	61.27	54.89	57.90	68.64	71.01	69.80
Luo et al. 2019 (existing)	-	-	60.35	-	-	72.78
He et al. 2019 (existing)	-	-	58.37	-	-	-
LSTM-CRF	58.61	50.47	54.24	66.10	66.30	66.20
Ma & Hovy 2016	58.66	51.26	54.71	61.56	67.26	64.29
Liu et al. 2018	53.31	59.40	56.19	68.46	64.43	66.38
BERT+Linear	62.16	58.90	60.43	71.42	75.25	73.22
BERT+GRU	61.88	60.47	61.12	70.61	76.20	73.24
BERT+SAN	62.42	58.71	60.49	72.92	76.72	74.72
BERT+TFM	63.23	58.64	60.80	72.39	76.64	74.41
BERT+CRF	62.22	59.49	60.78	71.88	76.48	74.06

• 간단한 BERT+Linear 모델이 BERT 없이도 많은 기존 ABSA 방법을 능가한다.
• 더 발전된 다운스트림 계층(GRU, SAN, TFM, CRF)은 F1 점수에서 추가 이득을 제공한다.
• BERT 기반 모델은 과적합에 대한 강건성을 보이며, extended training 중에도 F1이 안정적이다.
• BERT를 고정된 특징 추출기로 사용할 때보다 파인튜닝이 훨씬 우수한 결과를 낸다.
• LAPTOP 및 REST 데이터셋에서 SAN/TFM을 사용하는 BERT 기반 모델이 본 연구에서 보고된 최고 F1 점수에 도달한다.