[논문 리뷰] Variational Semi-supervised Aspect-term Sentiment Analysis via Transformer

Xingyi Cheng, Weidi Xu외 2명|arXiv (Cornell University)|2018. 10. 24.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 감성극성과 어휘적 맥락을 잠재공간에서 분리하는 트랜스포머 기반 변동형 오토인코더를 활용하여 레이블이 부족한 데이터 상황에서도 성능을 향상시키는 분류기 무관(semi-supervised) 프레임워크인 ASVAET을 제안한다. 레이블이 있는 데이터와 없는 데이터를 동시에 학습시킴으로써, SemEval 2014 데이터셋에서 다섯 가지 분류기 모두에서 일관된 성능 향상을 이끌어내며, 레이블이 적은 상황에서도 최대 3.2%의 향상을 달성한다.

ABSTRACT

Aspect-term sentiment analysis (ATSA) is a longstanding challenge in natural language understanding. It requires fine-grained semantical reasoning about a target entity appeared in the text. As manual annotation over the aspects is laborious and time-consuming, the amount of labeled data is limited for supervised learning. This paper proposes a semi-supervised method for the ATSA problem by using the Variational Autoencoder based on Transformer (VAET), which models the latent distribution via variational inference. By disentangling the latent representation into the aspect-specific sentiment and the lexical context, our method induces the underlying sentiment prediction for the unlabeled data, which then benefits the ATSA classifier. Our method is classifier agnostic, i.e., the classifier is an independent module and various advanced supervised models can be integrated. Experimental results are obtained on the SemEval 2014 task 4 and show that our method is effective with four classical classifiers. The proposed method outperforms two general semisupervised methods and achieves state-of-the-art performance.

연구 동기 및 목표

• 감성극성 쌍의 수동 레이블링이 인력이 많이 들기 때문에, 감성어휘 분석(ATSA)에서 레이블이 부족한 문제를 해결한다.
• 대량의 레이블이 없는 텍스트를 효과적으로 활용하여 ATSA 성능을 향상시키는 반감독 프레임워크를 개발한다.
• 감성 분류기와 표현 학습 모듈을 분리함으로써 분류기 무관 통합을 가능하게 한다.
• 잠재 표현을 감성극성과 어휘적 맥락으로 분리하여 일반화 능력과 해석 가능성 향상을 도모한다.
• 기본 ATSA 데이터셋에서 최신 분류기 다섯 종류에 대해 제안된 방법의 효과성을 입증한다.

제안 방법

• 입력 문장을 위한 맥락적 표현을 추출하기 위해 트랜스포머 기반 인코더를 사용한다.
• 감성극성(y)과 어휘적 맥락(z)이라는 두 가지 독립적인 성분을 모델링하기 위해 분리된 잠재공간을 가진 변동형 오토인코더(VAE)를 사용한다.
• y와 z에 조건이 되는 양방향 언어 모델 두 개를 사용하여 입력 문장을 재구성함으로써 제어 가능한 문장 생성이 가능하도록 VAE를 학습시킨다.
• 단어 임베딩을 두 구성 요소 간에 공유하지 않음으로써 분류기와 VAE를 분리함으로써, 성능 향상이 다중 최적화가 아닌 반감독 학습에 기인함을 보장한다.
• 잠재 표현의 분리된 특성을 활용하여 비모수적 추론을 수행함으로써, 레이블이 없는 데이터의 감성 레이블을 암묵적으로 예측한다.
• 다양한 지도 학습 분류기(예: MemNet, TC-LSTM, IAN, BILSTM-ATT-G, TNet-AS)에 플러그인 모듈로 통합하여, 분류기 무관한 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 소량의 레이블이 있는 경우, 반감독 VAE 기반 프레임워크가 ATSA 성능 향상에 기여할 수 있는가?
• RQ2 잠재공간에서 감성극성과 어휘적 맥락을 분리함으로써 일반화 능력 향상과 분류기 성능 향상이 달성되는가?
• RQ3 기존의 도메인 내 사전학습된 임베딩과 자가학습 기반 접근법에 비해 제안된 방법이 얼마나 뛰어난가?
• RQ4 성능 향상의 원인이 VAE의 잠재적 구조 모델링 능력인지, 아니면 오토인코더와의 공유 최적화 때문인가?
• RQ5 아키텍처 수정 없이 다양한 지도 학습 분류기와 효과적으로 통합될 수 있는가?

주요 결과

• SemEval 2014 REST 및 Laptop 데이터셋에서 다섯 가지 다른 분류기 모두에 대해 ASVAET 프레임워크가 일관되게 성능 향상을 이끌어내며, 레이블 데이터 크기에 따라 1.5%에서 3.2%의 향상이 발생한다.
• 레이블이 500개 뿐인 경우에도 기준 분류기 대비 3.2%의 정확도 향상을 달성하여 높은 데이터 효율성을 입증한다.
• 도메인 내 사전학습된 단어 임베딩과 자가학습 기반 베이스라인 모두를 능가함으로써, 뛰어난 반감독 학습 능력을 보여준다.
• 분류기와 오토인코더 간에 단어 임베딩을 공유할 경우 성능 저하가 발생함으로써, 성능 향상은 공유 최적화가 아닌 분리된 표현 학습 덕분임을 시사한다.
• t-SNE 시각화 결과, 잠재 표현 z가 감성극성 y와 독립적임을 확인하여 VAE의 분리 성능이 검증된다.
• 제어된 문장 생성 실험 결과, 감성극성이 변화하더라도 어휘적 맥락을 유지하는 의미적으로 일관된 문장을 생성할 수 있음을 확인하였으며, 이는 모델이 y에 따라 조건부 생성이 가능함을 확인한다.