[논문 리뷰] A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect Term Extraction

Heng Yang, Biqing Zeng외 3명|arXiv (Cornell University)|2019. 12. 17.

Sentiment Analysis and Opinion Mining참고 문헌 35인용 수 14

한 줄 요약

이 논문은 도메인 적응형 BERT와 국소적 문맥 집중(LCF) 기반 기계를 사용하여 중국어 및 영어 텍스트에서 동시에 목적어 추출(ATE)과 목적어 성향 분류(APC)를 수행하는 다중 작업 학습 모델인 LCF-ATEPC를 제안한다. 이 모델은 중국어 4개 및 영어 3개를 포함한 일곱 개인 감성 분석(ABSA) 데이터셋에서 최고 성능을 기록하며 강력한 多언어 및 도메인 적응 능력을 입증한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) task is a multi-grained task of natural language processing and consists of two subtasks: aspect term extraction (ATE) and aspect polarity classification (APC). Most of the existing work focuses on the subtask of aspect term polarity inferring and ignores the significance of aspect term extraction. Besides, the existing researches do not pay attention to the research of the Chinese-oriented ABSA task. Based on the local context focus (LCF) mechanism, this paper firstly proposes a multi-task learning model for Chinese-oriented aspect-based sentiment analysis, namely LCF-ATEPC. Compared with existing models, this model equips the capability of extracting aspect term and inferring aspect term polarity synchronously, moreover, this model is effective to analyze both Chinese and English comments simultaneously and the experiment on a multilingual mixed dataset proved its availability. By integrating the domain-adapted BERT model, the LCF-ATEPC model achieved the state-of-the-art performance of aspect term extraction and aspect polarity classification in four Chinese review datasets. Besides, the experimental results on the most commonly used SemEval-2014 task4 Restaurant and Laptop datasets outperform the state-of-the-art performance on the ATE and APC subtask.

연구 동기 및 목표

• 목적기반 감성 분석(ABSA)에서 동시에 목적어 추출(ATE)과 목적어 성향 분류(APC)를 수행하는 통합적 접근 방식의 부족을 해결한다.
• 연구가 부족한 중국어 중심의 ABSA에 특화된 최적화된 모델을 개발한다.
• 단일 통합 프레임워크 내에서 중국어 및 영어 리뷰를 모두 지원함으로써 효과적인 다국어 처리를 가능하게 한다.
• 도메인 적응형 BERT의 미세조정을 통해 자원이 적은, 도메인 특화된 ABSA 데이터셋에서의 성능을 향상시킨다.
• 다양하고 실제 세계의 데이터셋에서 ATE 및 APC 하위 작업 모두에 대해 최고 성능을 달성한다.

제안 방법

• 공유된 트랜스포머 기반 인코더를 사용하여 목적어 추출(ATE)과 목적어 성향 분류(APC)를 동시에 학습하는 다중 작업 학습 프레임워크를 제안한다.
• 목적어 관련 토큰에 대한 주의를 강화하기 위해 국소적 문맥 집중(LCF) 기반 기계를 통합하여 목적어 주변의 국소적 문법적 및 의미적 맥락에 집중한다.
• 예를 들어, Yelp 및 Amazon 랩탑 데이터 코퍼스와 같은 도메인 특화된 코퍼스에 대해 미세조정된 도메인 적응형 BERT 모델을 활용하여 자원이 적은, 도메인 특화된 ABSA 데이터셋에서의 성능을 향상시킨다.
• 장거리 의존성과 맥락 기반 표현을 캡처하기 위해 BERT 인코더 내부에서 다중 헤드 자기주의(MHSA)를 적용한다.
• LCF 기반 기계에서 주의 집중 범위를 제어하기 위해 동적 임계값 전략(SRD)을 도입하여 다양한 데이터셋에서의 성능을 최적화한다.
• 소규모 레이블링된 데이터셋에서 엔드 투 엔드로 모델을 훈련시키며, 전이 학습을 활용하여 제한된 레이블 데이터로도 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 통합된 다중 작업 학습 모델이 중국어 및 영어 텍스트에서 동시에 목적어 추출과 목적어 성향 분류를 효과적으로 수행할 수 있는가?
• RQ2 국소적 문맥 집중(LCF) 기반 기계의 통합이 목적기반 감성 분석 작업의 성능에 어떤 영향을 미치는가?
• RQ3 도메인 적응형 BERT는 자원이 적은, 도메인 특화된 ABSA 데이터셋에서 모델의 성능을 어느 정도 향상시키는가?
• RQ4 LCF 기반 기계의 SRD 임계값과 같은 하이퍼파rameter 변화에 대해 모델 성능이 언어 및 도메인에 따라 얼마나 민감한가?
• RQ5 제안된 LCF-ATEPC 모델은 다양한 벤치마크 데이터셋에서 ATE 및 APC 작업 모두에 대해 최고 성능을 달성하는가?

주요 결과

• LCF-ATEPC 모델은 중국어 리뷰 데이터셋 4개에서 최고 성능을 기록하였으며, Phone 데이터셋에서 ATE의 F1 스코어는 85.24, APC의 F1 스코어는 81.76를 기록하였다.
• SemEval-2014 레스토랑 데이터셋에서 모델은 APC 정확도 90.01%를 달성하였으며, 이는 이 벤치마크에서 90%를 초과한 첫 번째 모델이다.
• LCF-ATEPC-CDM 버전은 도메인 적응형 BERT와 SRD 임계값 3–6를 사용할 경우 레스토랑 데이터셋에서 APC F1 스코어 89.99를 기록하여 최고 기록을 달성하였다.
• 모델는 강력한 다국어 일반화 능력을 보였으며, 영어(Laptop 및 레스토랑) 및 중국어(Phone) 데이터셋에서 기본 BERT 모델을 모두 초월하였다.
• ATE 작업은 SRD 임계값 변화에 덜 민감한 반면, APC 성능는 특정 임계값에서 명확한 피크를 보이며 성향 분류가 제어된 주의 집중에 더 큰 이점을 얻음을 시사한다.
• 도메인 적응형 BERT는 모든 데이터셋에서 성능 향상을 크게 이끌었으며, 특히 레스토랑 및 랩탑 데이터셋에서 자원이 적은 도메인 특화 환경에서의 효과성을 확인하였다.