[논문 리뷰] Adapt or Get Left Behind: Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification

Alexander Rietzler, Sebastian Stabinger외 2명|arXiv (Cornell University)|2019. 08. 30.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 132

한 줄 요약

이 논문은 도메인 특화 미세조정(BERT)을 실시한 뒤 supervised ATSC training을 수행하는 2단계 접근법을 제시하여 SemEval 2014 restaurants 데이터셋에서 새로운 state-of-the-art 결과를 달성하고 랩탑에서 식당으로, 그리고 그 반대 방향으로의 강건한 교차 도메인 전이(transfer)를 보여준다.

ABSTRACT

Aspect-Target Sentiment Classification (ATSC) is a subtask of Aspect-Based Sentiment Analysis (ABSA), which has many applications e.g. in e-commerce, where data and insights from reviews can be leveraged to create value for businesses and customers. Recently, deep transfer-learning methods have been applied successfully to a myriad of Natural Language Processing (NLP) tasks, including ATSC. Building on top of the prominent BERT language model, we approach ATSC using a two-step procedure: self-supervised domain-specific BERT language model finetuning, followed by supervised task-specific finetuning. Our findings on how to best exploit domain-specific language model finetuning enable us to produce new state-of-the-art performance on the SemEval 2014 Task 4 restaurants dataset. In addition, to explore the real-world robustness of our models, we perform cross-domain evaluation. We show that a cross-domain adapted BERT language model performs significantly better than strong baseline models like vanilla BERT-base and XLNet-base. Finally, we conduct a case study to interpret model prediction errors.

연구 동기 및 목표

• ABSA 내에서 ATSC를 세밀한 감정 분석 태스크로 동기를 부여하고 실제 응용에서의 도메인 시프트를 다룬다.
• 도메인 특화 자체 감독 미세조정(BERT)이 ATSC 성능에 어떤 영향을 미치는지 조사한다.
• 식당 도메인과 노트북 도메인 간의 강건성을 평가하기 위해 교차 도메인 전달 및 합류 도메인 학습을 평가한다.

제안 방법

• 2단계 절차: 도메인 특화 자체 감독 미세조정을 통해 BERT 언어 모델을 학습시키고, 그다음에 supervised ATSC 미세조정을 수행한다.
• ATSC를 BERT 시퀀스-페어 분류로 변환하여 [CLS] 문장 [SEP] target [SEP]를 입력한다.
• 도메인(restaurants, laptops, 또는 둘 다)과 학습 설정(in-domain, cross-domain, joint-domain)을 체계적으로 변화시킨다.
• 입력 축소를 사용하여 모델 예측을 해석하고 오류를 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 도메인 데이터에서 BERT 언어 모델의 미세조정 양이 ATSC 성능에 어떤 영향을 미치는가?
• RQ2 RQ2: 도메인 특화 미세조정을 충분히 활용했을 때 도메인 내 학습으로 어떤 ATSC 성능을 얻을 수 있는가?
• RQ3 RQ3: 교차 도메인 적응(target-domain LM finetuned models)이 도메인 내 베이스라인과 비교하여 ATSC 성능에 어떤 이점을 주는가?
• RQ4 RQ4: joint-domain training이 도메인 간 성능을 향상시키는가?
• RQ5 RQ5: 도메인 적응 후 남는 오류 유형은 무엇이며 해석이 이를 이해하는 데 어떻게 도움이 되는가?

주요 결과

• 도메인 특화 LM 미세조정은 ATSC 정확도를 크게 높이며, 수십만 개의 미세조정 문장 수에 따라 도메인에 따라 수익 감소가 나타난다.
• 도메인 내 결과는 도메인에 적응된 LMs로 레스토랑과 노트북에서 SOTA에 근접하며, 특히 restaurants에서 새로운 SOTA(87.14% accuracy)를 달성한다.
• 교차 도메인 적응(target-domain LM finetuned models)은 BERT-base 대비 일관된 이점을 제공하며, 예를 들어 source/target 매칭에 따라 +2.2–3.6 퍼센트 포인트의 증가를 보인다.
• joint-domain training(Laptops+Restaurants)은 매크로-F1을 더욱 향상시키며, 특히 중립(class)이 불균형한 데이터셋에서 이익을 얻는다.
• 입력 축 reducido를 통한 사례 연구는 도메인에 적응된 모델이 맥락 의존적 감정 표현과 부정을 더 잘 포착하지만 중립 케이스는 여전히 도전적임을 보여준다.