[논문 리뷰] Variational Autoencoders for Learning Latent Representations of Speech Emotion: A Preliminary Study

Siddique Latif, Rajib Rana외 2명|arXiv (Cornell University)|2017. 12. 22.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 IEMOCAP 데이터셋에서 감정 분류를 위해 음성 신호의 분리된, 저차원 잠재 표현을 학습하기 위해 변분 오토인코더(Variational Autoencoders, VAEs)와 조건부 VAEs(CVAEs)를 제안한다. 이는 상태기준(SOTA) 성능을 달성한다. VAE로 학습된 특징과 LSTM 분류기를 조합함으로써, 자동인코더 기반 및 이전 딥러닝 방법들보다 뛰어난 성능을 보이며, 특히 차원형 감정 예측에서 두각을 나타낸다.

ABSTRACT

Learning the latent representation of data in unsupervised fashion is a very interesting process that provides relevant features for enhancing the performance of a classifier. For speech emotion recognition tasks, generating effective features is crucial. Currently, handcrafted features are mostly used for speech emotion recognition, however, features learned automatically using deep learning have shown strong success in many problems, especially in image processing. In particular, deep generative models such as Variational Autoencoders (VAEs) have gained enormous success for generating features for natural images. Inspired by this, we propose VAEs for deriving the latent representation of speech signals and use this representation to classify emotions. To the best of our knowledge, we are the first to propose VAEs for speech emotion classification. Evaluations on the IEMOCAP dataset demonstrate that features learned by VAEs can produce state-of-the-art results for speech emotion classification.

연구 동기 및 목표

• 딥 생성 모델인 VAE가 음성 감정 인식을 위해 효과적이고 분리된 잠재 표현을 학습할 수 있는지 조사하기 위해.
• 기존의 자동인코더(AEs)와 비교하여 VAE와 그 조건부 변형(CVAE)이 감정 민감도 특징을 학습하는 데 성능가능성을 평가하기 위해.
• LSTM 분류기와 조합된 VAE로 학습된 특징이 범주형 및 차원형 감정 분류 모두에서 효과적인지 평가하기 위해.
• 분류 정확도를 최대화하기 위해 최적의 잠재 차원 수를 결정하기 위해.

제안 방법

• 원시 음성 스펙트로그램에 대해 엔드 투 엔드로 훈련된 변분 오토인코더(VAE)는 잠재 코드의 사후 분포를 정규분포로 모델링함으로써 확률적 잠재 표현을 학습한다.
• VAE는 깊은 신경망 인코더를 사용하여 잠재 분포의 평균과 분산을 예측하고, 샘플된 잠재 코드에서 입력 음성 신호를 재구성하기 위한 디코더를 사용한다.
• 조건부 VAE(CVAE) 변형을 도입하여, 훈련 중 감정 레이블에 따라 잠재 표현이 조건화되어 분리성과 표현 품질을 향상시킨다.
• 학습된 잠재 특징(평균 및 분산 벡터)은 범주형 및 차원형 감정 인식 모두에 대해 LSTM 분류기의 입력으로 사용된다.
• 모델은 재구성 손실과 사후 분포 및 사전 분포 간의 KLD(Kullback-Leibler divergence)를 균형 잡는 변분 하한(ELBO) 목적함수를 사용해 훈련된다.
• 다양한 잠재 차원 크기(32, 128, 512)를 사용한 추론 실험을 통해 분류 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 VAE는 음성 신호의 의미 있고 분리된 잠재 표현을 감정 분류를 위해 효과적으로 학습할 수 있는가?
• RQ2 LSTM 분류기와 함께 사용할 때, VAE 기반 특징 학습의 성능이 기존 자동인코더(AEs)와 비교해 어떻게 되는가?
• RQ3 조건부 VAE(CVAE)를 사용할 경우 표준 VAE보다 표현 품질과 분류 정확도가 더욱 향상되는가?
• RQ4 음성 감정 분류에서 최고 성능을 달성하기 위해 최적의 잠재 차원 수는 얼마인가?

주요 결과

• CVAE-LSTM 모델은 차원형 감정 분류(Arousal, Power, Valence)에서 평균 정확도 56.42%를 기록하여, 이전 최고 성능인 55.3%를 기록한 계층적 특징 융합 방법을 능가했다.
• 범주형 감정 분류에서는 CVAE-LSTM 모델이 64.93%의 정확도를 달성했으며, 수작업 또는 하이브리드 특징을 사용한 최고 수준의 방법들과 경쟁 가능한 성능을 보였다.
• VAE-LSTM와 CVAE-LSTM는 AE-LSTM 기반 베이스라인보다 뚜렷이 뛰어난 성능을 보이며, VAE가 감정 민감도 표현을 학습하는 데서 열등함을 입증했다.
• 최적의 잠재 특징 수는 128로 확인되었으며, 이는 더 작은(32) 또는 더 큰(512) 크기의 경우 모두 성능이 떨어짐을 의미하여 경험적 튜닝의 필요성을 시사한다.
• 결과는 VAE가 감정 관련 정보를 포괄하는 효과적인 분리된 저차원 표현을 학습할 수 있음을 보여주며, 최소한의 인도적 편향을 가진 높은 성능의 분류를 가능하게 한다.
• 이 연구는 딥 생성 모델인 VAE를 사용해 음성 감정 특징을 자동으로 엔드 투 엔드로 학습할 수 있음을 확인하며, 향후 자기지도 학습 기반 감정 표현 학습 분야의 연구를 위한 길을 열었다.