[논문 리뷰] Aspect and Opinion Term Extraction for Hotel Reviews using Transfer Learning and Auxiliary Labels

Yosef Ardhito Winatmoko, Ali Akbar Septiandri외 1명|arXiv (Cornell University)|2019. 09. 26.

Sentiment Analysis and Opinion Mining참고 문헌 28인용 수 11

한 줄 요약

이 논문은 인도네시아어 호텔 리뷰에서 특성 및 의견 어휘 추출을 위한 BERT 기반 모델을 제안하며, 조건부 랜덤 필드(CRF)와 보조 레이블을 활용한다. 다국어 BERT를 활용하고 서브워드 토큰을 위한 새로운 보조 레이블링 체계를 도입함으로써, 단지 2~4 에포크의 훈련으로도 기존 Bi-LSTM 기반 모델(200 에포크 필요)에 비해 유의하게 뛰어난 SOTA 성능을 달성한다.

ABSTRACT

Aspect and opinion term extraction is a critical step in Aspect-Based Sentiment Analysis (ABSA). Our study focuses on evaluating transfer learning using pre-trained BERT (Devlin et al., 2018) to classify tokens from hotel reviews in bahasa Indonesia. The primary challenge is the language informality of the review texts. By utilizing transfer learning from a multilingual model, we achieved up to 2% difference on token level F1-score compared to the state-of-the-art Bi-LSTM model with fewer training epochs (3 vs. 200 epochs). The fine-tuned model clearly outperforms the Bi-LSTM model on the entity level. Furthermore, we propose a method to include CRF with auxiliary labels as an output layer for the BERT-based models. The CRF addition further improves the F1-score for both token and entity level.

연구 동기 및 목표

• 저자원, 비공식적인 인도네시아어 텍스트에서 특성 및 의견 어휘 추출에 다국어 BERT를 활용한 전이 학습의 효과성을 평가하는 것.
• BERT의 서브워드 토크나이제이션으로 인해 CRF 기반 시퀀스 레이블링 작업에서 문제가 발생하는 문제를 해결하는 것.
• 특수 토큰과 서브워드를 위한 보조 레이블(A, Z, X, Y)을 도입하여 BIO 일관성을 유지함으로써 시퀀스 레이블링 성능을 향상시키는 것.
• 인도네시아어 호텔 리뷰에서 제안된 BERT+CRF 모델과 강력한 Bi-LSTM 기반 모델 간의 F1 점수 및 훈련 효율성을 비교하는 것.
• BERT를 엔드 투 엔드로 미세조정하고 CRF 및 보조 레이블을 적용할 경우, 극히 적은 훈련 에포크 수로도 강력하고 높은 성능을 보이는 ABSA 모델를 구축할 수 있음을 보여주는 것.

제안 방법

• 4,000개의 인도네시아어 호텔 리뷰를 대상으로 다국어 BERT-base(소문자)를 미세조정하였으며, 학습률 1e-4, 가중치 감소 1e-2, 배치 크기 32를 사용하였다.
• BIO 태깅 제약 조건을 보장하기 위해 출력층으로 CRF를 적용하여 유효한 레이블 전이(예: I-ASPECT는 반드시 B-ASPECT 뒤에 이어져야 함)를 보장하였다.
• 네 가지 보조 레이블 도입: A([CLS]), Z([SEP]), X(특성/감성에 속하는 서브워드 토큰), Y(어느 목표 엔터티에도 속하지 않는 서브워드).
• X-ASPECT 및 X-SENTIMENT를 사용하여 뒤이어 오는 서브워드(예: "tempatnya"의 "##nya")를 태깅함으로써 엔터티 경계를 서브워드 분할 동안에도 유지하였다.
• PyTorch-CRF 라이브러리를 활용하여 CRF 레이어를 구현하였으며, 하이퍼파라미터는 1,000개 샘플로 구성된 검증 세트에서 튜닝하였다.
• BERT+CRF 모델은 토큰 수준 작업에 대해 3 에포크, 엔터티 수준 작업에 대해 4 에포크 훈련하였으며, 일반 BERT 모델은 조기 과적합으로 인해 오직 2 에포크만 훈련하였다.

실험 결과

연구 질문

• RQ1 다국어 BERT를 인도네시아어 호텔 리뷰에 대해 미세조정하여, CMLA 및 더블 임베딩을 활용한 특화된 모델인 Bi-LSTM에 비해 특성 및 의견 어휘 추출 성능에서 경쟁력을 확보할 수 있는가?
• RQ2 서브워드 토큰을 위한 보조 레이블과 함께 CRF를 통합할 경우, 비공식적인 인도네시아어 텍스트에서 특성 및 의견 어휘 추출의 F1 점수에 어떤 영향을 미치는가?
• RQ3 수백 개의 에포크가 필요한 모델 대비 제안된 방법은 훈련 시간과 자원 소비를 얼마나 줄일 수 있는가?
• RQ4 보조 레이블의 사용이 BERT의 서브워드 토크나이제이션으로 인해 발생하는 잘못된 BIO 시퀀스(예: 이전에 B-ASPECT 없이 I-ASPECT가 오는 경우) 문제를 완화하는가?
• RQ5 특히 완전한 특성 및 감성 어휘 조합을 탐지하는 데 있어, 토큰 수준과 엔터티 수준의 분류 성능은 각각 어떻게 나타나는가?

주요 결과

• 보조 레이블이 포함된 BERT+CRF 모델은 토큰 수준에서 F1 점수 78.4%를 기록하여 Bi-LSTM 기반 모델보다 최대 2%p의 절대적 향상을 달성하였다.
• 엔터티 수준에서 BERT 기반 모델은 특성 및 감성 탐지에서 가장 높은 F1 점수를 기록하였으며, Bi-LSTM 모델을 초월하였다.
• CRF 없이 사용된 일반 BERT는 I-ASPECT가 이전에 B-ASPECT 없이 오는 65개의 잘못된 BIO 시퀀스를 생성하여, 레이블 일관성을 확보하기 위해 CRF가 필수적임을 입증하였다.
• BERT+CRF 모델은 3~4 에포크 내에 수렴하였고, Bi-LSTM 모델의 200 에포크 대비 훈련 시간과 계산 비용을 크게 절감하였다.
• CRF와 보조 레이블을 추가함으로써 토큰 수준과 엔터티 수준에서 F1 점수가 최대 2%p 향상되었으며, 이는 서브워드 분할 문제를 효과적으로 다루는 데에 유의미한 기여를 했다고 확인하였다.
• 모델는 테스트 세트의 고유 토큰 중 75.4%를 훈련 세트에 포함시켜, 비공식적이고 노이즈가 많은 텍스트 환경에서도 강력한 일반화 능력을 보였다고 나타났다.