[논문 리뷰] BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis

Hu Xu, Bing Liu외 2명|arXiv (Cornell University)|2019. 04. 03.

Sentiment Analysis and Opinion Mining참고 문헌 44인용 수 358

한 줄 요약

논문은 리뷰 기반 독해를 위한 ReviewRC를 도입하고 도메인 및 작업 지식을 적응시키는 공동 사후학습 방법(BERT-PT)을 제시해 RRC, AE, ASC를 개선한다. 일반 BERT가 리뷰에서 성능이 떨어진 반면 BERT-PT는 모든 작업과 도메인에서 최신 성과를 달성한다.

ABSTRACT

Question-answering plays an important role in e-commerce as it allows potential customers to actively seek crucial information about products or services to help their purchase decision making. Inspired by the recent success of machine reading comprehension (MRC) on formal documents, this paper explores the potential of turning customer reviews into a large source of knowledge that can be exploited to answer user questions.~We call this problem Review Reading Comprehension (RRC). To the best of our knowledge, no existing work has been done on RRC. In this work, we first build an RRC dataset called ReviewRC based on a popular benchmark for aspect-based sentiment analysis. Since ReviewRC has limited training examples for RRC (and also for aspect-based sentiment analysis), we then explore a novel post-training approach on the popular language model BERT to enhance the performance of fine-tuning of BERT for RRC. To show the generality of the approach, the proposed post-training is also applied to some other review-based tasks such as aspect extraction and aspect sentiment classification in aspect-based sentiment analysis. Experimental results demonstrate that the proposed post-training is highly effective. The datasets and code are available at https://www.cs.uic.edu/~hxu/.

연구 동기 및 목표

• 사용자 질문에 대한 제품 리뷰에서 정답 구간을 추출하는 것을 RRC(Review Reading Comprehension)로 정의한다.
• SemEval 리뷰를 기반으로 한 도메인 정합 추출형 RRC 데이터셋인 ReviewRC를 만든다.
• 도메인 지식 + MRC 작업 지식을 결합한 공동 사후 학습 전략을 개발하여 BERT를 리뷰에 적합하게 만든다.
• 사후 학습이 Laptop 도메인과 Restaurant 도메인에서 vanilla BERT를 넘어서 RRC, AE, ASC를 개선함을 보여준다.

제안 방법

• RRC를 [CLS], 질문, [SEP], 리뷰, [SEP] 입력으로 스팬 예측 과제로 공식화하고, 시작 포인터와 종료 포인터를 생성하여 정답 스펀을 선택한다.
• 랩탑 및 레스토랑 리뷰에 대해 SQuAD 스타일의 ReviewRC 데이터셋 주석을 도입한다.
• 도메인 지식(MLM 및 NSP를 리뷰에서 활용)과 작업 지식(SQuAD의 MRC 데이터)을 결합한 BERT 사후 학습(BERT-PT)을 제안하고, 메모리 관리를 위한 그래디언트 축적을 사용한다.
• 도메인 지식 배치와 MRC 배치를 번갈아 수행하고 그래디언트를 축적하여 공동 사후 학습을 수행하기 위해 알고리즘 1을 사용한다.
• 세 가지 최종 작업(RRC, AE, ASC)에 대해 BERT 미세조정을 적용한다.
• DrQA, DrQA+MRC 및 다양한 BERT 변형(BERT, BERT-DK, BERT-MRC, BERT-PT)과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: 사후 학습이 상태 최첨단 Baseline에 비해 RRC, AE, ASC를 얼마나 개선하는가?
• RQ2 RQ2: 도메인/작업 적응 없이 일반 BERT가 리뷰 기반 작업에서 어떤 성능을 보이는가?
• RQ3 RQ3: 도메인 지식과 작업 인식 지식의 사후 학습 이점에 대한 기여도는 무엇인가?

주요 결과

• BERT-PT는 세 가지 작업과 모든 도메인(Laptop 및 Restaurant)에서 최상의 성능을 달성한다.
• 일반 BERT는 리뷰 기반 작업에서 성능이 더 떨어지며 적응 필요성을 강조한다.
• 도메인 지식 사후 학습은 주로 AE를 향상시키는 반면, 작업 인식 지식(MRC) 기반 사후 학습은 도메인에 따라 RRC 및 ASC에 큰 이득을 제공한다.
• MRC 데이터는 극성을 특수한 MRC 문제로 구성함으로써 ASC를 돕고, RRC의 경계 정확도는 현저히 향상된다.
• 도메인 지식은 Restaurant에 Laptop보다 더 큰 이점을 주며, 이는 위키피디아 도메인과 리뷰 도메인 간의 도메인 커버리지 차이를 시사한다.
• 절단 분석은 작업과 도메인 간에 도메인 지식과 작업 지식이 서로 다른 기여를 한다는 것을 보인다.