[논문 리뷰] A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification

Ziqian Zeng, Wenxuan Zhou외 2명|arXiv (Cornell University)|2019. 04. 10.

Sentiment Analysis and Opinion Mining참고 문헌 42인용 수 4

한 줄 요약

이 논문은 종속성 파싱과 간단한 규칙을 통해 추출한 대상-의견어 쌍을 감독 신호로 사용하는 변분 접근법을 제안한다. 이는 약한 감성 분류를 위한 문서 수준 다중 측면 감성 분류(DMSC)에 적용된다. 감성 극성은 잠재 변수로 모델링되고, 변분 하한을 최적화함으로써 감성 극성 분류기와 의견어 예측기의 공동 학습이 가능해지며, 측면당 수백 개의 레이블이 있는 지도 학습 방법과 유사한 성능을 달성하면서도 측면 수준의 애너테이션을 제거한다.

ABSTRACT

In this paper, we propose a variational approach to weakly supervised document-level multi-aspect sentiment classification. Instead of using user-generated ratings or annotations provided by domain experts, we use target-opinion word pairs as "supervision." These word pairs can be extracted by using dependency parsers and simple rules. Our objective is to predict an opinion word given a target word while our ultimate goal is to learn a sentiment polarity classifier to predict the sentiment polarity of each aspect given a document. By introducing a latent variable, i.e., the sentiment polarity, to the objective function, we can inject the sentiment polarity classifier to the objective via the variational lower bound. We can learn a sentiment polarity classifier by optimizing the lower bound. We show that our method can outperform weakly supervised baselines on TripAdvisor and BeerAdvocate datasets and can be comparable to the state-of-the-art supervised method with hundreds of labels per aspect.

연구 동기 및 목표

• 높은 애너테이션 비용 문제를 해결하기 위해 측면 수준의 애너테이션에 대한 의존도를 줄이기 위해 문서 수준 다중 측면 감성 분류(DMSC)의 과제를 해결한다.
• 기존의 약한 감성 분류 방법의 한계를 극복하기 위해 전체 코퍼스를 다시 훈련하지 않고도 드문 측면에 대해 증분 학습이 가능하도록 한다.
• 변분 추론을 통해 감성 극성 분류를 약한 감성 분류 기반의 의견어 예측 목표에 통합하는 유연한 프레임워크를 개발한다.
• 의존성 파싱을 통해 추출한 대상-의견어 쌍이 정확한 감성 분류기 훈련을 위한 효과적인 감독 신호로 기능할 수 있음을 입증한다.
• 완전히 지도 학습 방법에 가까운 성능을 달성하면서도 대상-의견어 쌍에서 유도된 약한 감독만을 사용한다.

제안 방법

• 감성 극성을 잠재 변수로 모델링하여 변분 추론을 통해 의견어 예측과 감성 분류를 연결한다.
• 의견어 예측과 대상어 및 감성 극성에 기반한 감성 극성 예측의 공동 목표를 최적화하기 위해 변분 하한을 유도한다.
• 모델은 두 구성 요소로 이루어져 있다: 문서에서 극성을 예측하는 감성 극성 분류기, 그리고 대상어와 예측된 극성을 기반으로 의견어를 예측하는 의견어 분류기.
• 대상-의견어 쌍은 종속성 파싱과 단순 문법 규칙을 사용하여 추출되며, 레이블이 붙은 쌍이나 외부 어휘집이 필요로 하지 않는다.
• 딥 네트워크 아키텍처를 지원하여 백오프-오브-워즈 가정을 초월한 어순과 장거리 의존성을 모델링할 수 있다.
• 변분 하한이 학습 목표로 사용되며, 확률적 경사 하강법을 사용하여 엔드 투 엔드로 목적 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 규칙 기반 종속성 파싱을 통해 추출한 대상-의견어 쌍이 문서 수준 다중 측면 감성 분류에 효과적인 약한 감독 신호로 기능할 수 있는가?
• RQ2 감성 극성을 잠재 변수로 모델링하는 변분 프레임워크가 일반화 성능 향상과 감성 및 의견어 예측의 공동 학습을 가능하게 하는가?
• RQ3 제안된 방법이 애너테이션 노력 감소를 위해 지도 학습 기반 베이스라인과 유사한 성능을 달성하는가?
• RQ4 모델이 전체 코퍼스를 다시 훈련하지 않고도 드문 측면에 대해 매개변수를 증분 학습할 수 있는가?
• RQ5 기존의 전체 문서 극성에 의존하는 약한 감성 분류 방법과 비교해 본다면, 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 TripAdvisor 및 BeerAdvocate 데이터셋에서 기존의 약한 감성 분류 기반 베이스라인보다 측면 감성 분류의 F1 점수에서 뛰어난 성능을 보였다.
• 측면당 수백 개의 레이블이 필요한 최신 지도 학습 방법과 유사한 성능을 달성했음에도 불구하고, 대상-의견어 쌍에서 유도된 약한 감독만을 사용하였다.
• 기존의 약한 감성 분류 방법의 핵심적 한계를 해결하기 위해 전체 데이터셋을 다시 훈련하지 않고도 새로운 측면에 대해 증분 학습이 가능하게 하였다.
• 간단한 규칙을 사용한 종속성 파싱을 통한 대상-의견어 쌍 추출이 효과적인 감독 신호를 제공하여 정확한 감성 분류기를 훈련하는 데에 충분하다.
• 변분 프레임워크는 감성 극성 예측을 의견어 예측 목표에 성공적으로 통합하여 전체 분류 성능 향상을 이끌었다.
• 변분 하한이 학습 과정을 정규화함으로써 노이즈가 있거나 완전하지 않은 감독에 대해 강건함을 보였다.