[논문 리뷰] Combining Sentiment Lexica with a Multi-View Variational Autoencoder

Alexander Hoyle, Lawrence Wolf-Sonkin외 3명|arXiv (Cornell University)|2019. 04. 05.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 이원, 다항, 연속 스케일을 가진 다수의 감성 어휘를 통합하여 공통의 딜리클레 잠재 표현으로 만드는 SentiVAE를 제안한다. 각 어휘를 하나의 시각으로 간주하고 공유 잠재 변수를 활용함으로써 SentiVAE는 개별 어휘나 단순 조합보다 더 강력하고 커버리지가 풍부한 감성 표현을 생성하며, 9개의 영어 감성 분류 데이터셋에서 뛰어난 성능을 보인다. 특히 자원이 부족한 도메인에서 두각을 나타낸다.

ABSTRACT

When assigning quantitative labels to a dataset, different methodologies may rely on different scales. In particular, when assigning polarities to words in a sentiment lexicon, annotators may use binary, categorical, or continuous labels. Naturally, it is of interest to unify these labels from disparate scales to both achieve maximal coverage over words and to create a single, more robust sentiment lexicon while retaining scale coherence. We introduce a generative model of sentiment lexica to combine disparate scales into a common latent representation. We realize this model with a novel multi-view variational autoencoder (VAE), called SentiVAE. We evaluate our approach via a downstream text classification task involving nine English-Language sentiment analysis datasets; our representation outperforms six individual sentiment lexica, as well as a straightforward combination thereof.

연구 동기 및 목표

• 이원, 다항, 또는 연속 스케일을 사용하는 감성 어휘를 하나의 일관된 표현으로 통합하는 데 도전하는 것.
• 다양한 어휘를 통합하면서 스케일 일관성을 유지함으로써 감성 어휘의 커버리지와 강건성을 향상시키는 것.
• 이질적인 어휘 간의 공통 잠재 감성 표현을 학습하는 생성 모델을 개발하여 후속 작업 성능을 향상시키는 것.
• 표준 어휘에 잘 반영되지 않은 도메인의 데이터셋을 포함하여 다양한 감성 분석 데이터셋에서 통합 표현의 효과성을 평가하는 것.

제안 방법

• 각 감성 어휘를 동일한 기저 단어 감성의 별개의 시각으로 간주하는 다중 시각 변동형 오토인코더 아키텍처를 사용한다.
• 각 단어의 잠재 변수로 딜리클레 분포를 사용하여 다수의 스케일에서 감성 극성의 확률적 모델링을 가능하게 한다.
• 각 어휘가 별개의 방출 분포를 기여하며, 이는 공유된 잠재 표현에 조건화된 파라미터를 가진다.
• 변동형 추론을 통해 엔드 투 엔드로 학습되며, 관측된 어휘 레이블의 주변 가능도에 대한 하한을 최적화한다.
• 최종 감성 표현은 잠재 딜리클레 분포의 사후 평균에서 유도된다. 이는 모든 어휘에서 정보를 통합한다.
• 간단한 베이스라인은 스케일 정렬이나 잠재 모델링 없이 감성 벡터를 연결하여 어휘를 조합한다.

실험 결과

연구 질문

• RQ1 스케일이 상이한 이원, 다항, 연속 스케일을 가진 감성 어휘를 하나의 일관된 표현으로 효과적으로 통합할 수 있는가?
• RQ2 SentiVAE가 학습한 공유 잠재 표현이 후속 감성 분류 작업에서 개별 감성 어휘보다 뛰어난 성능을 보이는가?
• RQ3 표준 감성 어휘에 잘 반영되지 않는 도메인의 데이터셋에서 SentiVAE는 어떻게 성능을 내는가?
• RQ4 간단한 어휘 연결에 비해 스케일 일관성과 어휘 커버리지가 모델 성능에 얼마나 기여하는가?
• RQ5 모델의 표현이 다중 클래스 및 이원 감성 분류 작업 모두에서 더 강건한가?

주요 결과

• SentiVAE는 9개의 감성 분류 데이터셋 중 8개에서 6개의 개별 감성 어휘를 모두 앞서며, IMDB(2클래스)에서 최고의 정확도 74.7%와 SemEval(3클래스)에서 72.4%의 정확도를 기록했다.
• 잠재 딜리클레 분포의 사후 평균을 사용한 모델의 표현은 9개 데이터셋 중 6개에서 어떤 단일 어휘보다 더 높은 정확도를 달성했다.
• 단일 어휘의 어휘에 국한된 경우에도 SentiVAE의 표현은 해당 어휘를 초월하여 더 뛰어난 성능을 보였으며, 이는 표현 품질 향상을 시사한다.
• SentiVAE는 표준 어휘에 잘 반영되지 않는 도메인, 예를 들어 소셜 미디어나 제품 리뷰 데이터셋에서 단순 연결 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 다양한 도메인에서 강력한 성능을 유지하며, 어떤 한 어휘의 범위를 넘어서 일반화 능력을 입증했다.
• 커버리지 분석 결과, SentiVAE는 모든 데이터셋의 훈련 세트에서 100%의 어휘 커버리지를 달성했으며, 개별 어휘(예: IMDB에서 SentiWordNet은 15%)에 비해 훨씬 높았다.