[논문 리뷰] Joint Emotion Label Space Modelling for Affect Lexica

Luna De Bruyne, Pepa Atanasova외 1명|arXiv (Cornell University)|2019. 11. 20.

Sentiment Analysis and Opinion Mining참고 문헌 65인용 수 7

한 줄 요약

이 논문은 다중 시각 변분 오토인코더(Multi-view VAE)를 사용하여 8개의 기존 정서 어휘를 융합하여 총 30,273개의 항목을 포함하는 통합된 정서 어휘를 제안한다. 이는 이질적인 레이블 공간을 공유 가능한 해석 가능한 잠재 공간으로 매핑한다. VAE로 생성된 어휘는 정서 감지에서 개별 어휘보다 성능을 높이지만, 단순 연결보다 항상 뛰어나지는 않지만, 추가적인 특징 소스로 추가될 경우 성능 향상을 보이며, 자원이 부족한 환경에서 상호보완적인 정보와 유용성을 입증한다.

ABSTRACT

Emotion lexica are commonly used resources to combat data poverty in automatic emotion detection. However, vocabulary coverage issues, differences in construction method and discrepancies in emotion framework and representation result in a heterogeneous landscape of emotion detection resources, calling for a unified approach to utilising them. To combat this, we present an extended emotion lexicon of 30,273 unique entries, which is a result of merging eight existing emotion lexica by means of a multi-view variational autoencoder (VAE). We showed that a VAE is a valid approach for combining lexica with different label spaces into a joint emotion label space with a chosen number of dimensions, and that these dimensions are still interpretable. We tested the utility of the unified VAE lexicon by employing the lexicon values as features in an emotion detection model. We found that the VAE lexicon outperformed individual lexica, but contrary to our expectations, it did not outperform a naive concatenation of lexica, although it did contribute to the naive concatenation when added as an extra lexicon. Furthermore, using lexicon information as additional features on top of state-of-the-art language models usually resulted in a better performance than when no lexicon information was used.

연구 동기 및 목표

• 다른 레이블 공간, 구축 방법, 정서 프레임워크로 인해 발생하는 정서 어휘의 이질성 문제를 해결하기 위해.
• 다양한 기존 자원을 하나의 통합된 일관된 표현으로 통합하는 고카버리지 정서 어휘를 만들기 위해.
• VAE 기반의 어휘 융합이 하류 정서 감지 작업에서 단순 연결과 개별 어휘보다 성능이 뛰어나지 않는지 평가하기 위해.
• VAE가 학습한 잠재 차원의 해석 가능성과 알려진 정서 차원과의 일치 여부를 평가하기 위해.
• 자원이 부족한 환경에서나 최신 언어 모델과 결합했을 때 어휘 특징이 얼마나 추가적인 가치를 제공하는지 탐색하기 위해.

제안 방법

• 다중 시각 변분 오토인코더(VAE)를 사용하여 8개의 서로 다른 정서 어휘를 공유되는 낮은 차원의 잠재 공간에 매핑한다.
• 각 어휘는 동일한 단어 표현의 '시각'으로 간주되며, VAE는 공유 잠재 공간 상의 공동 분포를 학습한다.
• VAE의 잠재 공간 차원은 설정 가능하며(예: N=8), 결과적으로 얻어진 차원들은 플루치크의 정서와 같은 알려진 정서 차원과 연결된다.
• VAE에서 생성된 단어 임베딩은 기존 분류기(선형/로지스틱 회귀)와 딥러닝 모델(Bi-LSTM, GloVe 또는 BERT)의 특징으로 사용된다.
• 성능 평가는 13개의 정서 감지 데이터셋을 대상으로 수행되며, VAE 어휘, 개별 어휘, 단순 연결 결과를 비교한다.
• 모델은 입력 어휘 값을 재구성하면서 재구성 오차와 KL 발산 손실을 최소화하도록 훈련되어 노이즈 필터링과 표현 학습이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 레이블 공간을 가진 정서 어휘를 효과적으로 하나의 일관된 잠재 표현으로 통합할 수 있는가?
• RQ2 VAE의 잠재 공간에서 학습된 차원들이 해석 가능하고 알려진 정서 차원과 일치하는가?
• RQ3 VAE로 생성된 어휘가 감독 정서 감지 작업에서 개별 어휘와 단순 연결보다 성능이 뛰어나지 않는가?
• RQ4 최신 사전 학습된 언어 모델(BERT 등)과 함께 어휘 특징이 포함될 경우 성능에 어떤 영향을 미치는가?
• RQ5 어떤 상황에서 VAE 어휘가 기존 어휘 자원을 초월해 상호보완적인 정보를 제공하는가?

주요 결과

• VAE로 생성된 어휘는 30,273개의 고유 항목을 포함하며, N=8 차원에서 다양한 정서 어휘를 공유 가능한 해석 가능한 잠재 공간으로 성공적으로 매핑하였다.
• 여러 데이터셋에서 VAE 어휘가 개별 정서 어휘보다 정서 감지 성능이 뛰어나, 통합 자원으로서의 유용성을 입증한다.
• 기대와는 달리 VAE 어휘가 단순 연결보다 항상 뛰어나지 않으며, 이는 연결 과정에서 갈등하는 정보가 일부 경우에 유용할 수 있음을 시사한다.
• 그러나 VAE 어휘가 단순 연결 결과에 추가될 경우, 개별 방법보다 더 높은 성능을 내며 상호보완적인 정보를 제공한다.
• 최고의 어휘 전략은 데이터셋에 따라 달라지지만, BERT 임베딩과 어휘 특징을 조합할 경우 평균적으로 가장 높은 성능을 기록한다.
• 대규모 사전 학습 모델을 사용할 수 없는 자원이 부족한 환경에서는 정서 어휘, 특히 VAE로 생성된 어휘가 보조 특징으로서 매우 유용하다.