[논문 리뷰] Learning Representations of Emotional Speech with Deep Convolutional Generative Adversarial Networks

Jonathan Chang, Stefan Scherer|arXiv (Cornell University)|2017. 04. 22.

Speech Recognition and Synthesis참고 문헌 11인용 수 9

한 줄 요약

이 논문은 음성에서 정서적 밸런스 분류를 향상시키기 위해 반감독 표현 학습을 통한 딥 컨volution 신경망 생성 대비 신경망(DCGAN)을 제안한다. 12시간의 레이블이 부여된 IEMOCAP 데이터셋과 함께 100시간의 레이블이 없는 미팅 데이터를 활용하여, 3개 클래스의 밸런스 작업에서 49.80%의 정확도를 달성하였으며, 이는 최신 기술 수준과 경쟁 가능한 성능이다. 그러나 활성도와 함께 다중 작업 학습을 수행한 결과는 향상 효과가 없었다.

ABSTRACT

Automatically assessing emotional valence in human speech has historically been a difficult task for machine learning algorithms. The subtle changes in the voice of the speaker that are indicative of positive or negative emotional states are often "overshadowed" by voice characteristics relating to emotional intensity or emotional activation. In this work we explore a representation learning approach that automatically derives discriminative representations of emotional speech. In particular, we investigate two machine learning strategies to improve classifier performance: (1) utilization of unlabeled data using a deep convolutional generative adversarial network (DCGAN), and (2) multitask learning. Within our extensive experiments we leverage a multitask annotated emotional corpus as well as a large unlabeled meeting corpus (around 100 hours). Our speaker-independent classification experiments show that in particular the use of unlabeled data in our investigations improves performance of the classifiers and both fully supervised baseline approaches are outperformed considerably. We improve the classification of emotional valence on a discrete 5-point scale to 43.88% and on a 3-point scale to 49.80%, which is competitive to state-of-the-art performance.

연구 동기 및 목표

• 제한된 레이블이 부여된 데이터로부터 표현 학습을 통해 음성의 정서적 밸런스 분류 성능을 향상시키기 위해 노력한다.
• 대규모 레이블이 없는 음성 데이터에서의 비지도 사전학습이 분류기 성능을 향상시키는지 조사한다.
• 관련된 목표로 정서적 밸런스와 활성도를 함께 예측하는 다중 작업 학습의 효과를 평가한다.
• 원시 스펙트로그램에서의 엔드 투 엔드 학습이 정서 컴퓨팅 분야에서 전통적인 특징 공학 기법보다 성능이 뛰어나다는지 확인한다.
• 모델의 일반화 능력과 다양한 화자 독립 평가에서의 강인성을 평가한다.

제안 방법

• DCGAN 프레임워크 내에서 심층 컨volution 신경망(CNN) 아키텍처를 디스criminator로 정밀하게 튜닝하여 구분 가능한 음성 표현을 학습한다.
• 레이블이 부여된 IEMOCAP 데이터에 대한 정밀 조정 이전에, 100시간의 레이블이 없는 미팅 코퍼스 데이터를 사용해 DCGAN을 사전학습하여 일반적인 음성 패턴을 학습한다.
• 하위 레이어의 특징을 공유하는 방식으로, 정서적 밸런스와 활성도를 동시에 예측할 수 있는 다중 작업 헤드를 통합한다.
• 생성자와 판별자 간의 미니맥스 손실과 분류 헤드에 대한 크로스 엔트로피 손실을 사용하여 모델을 훈련한다.
• 화자 독립적 데이터 분할을 적용하여 별도의 훈련, 검증, 테스트 세트를 구성함으로써 강인한 평가를 확보한다.
• 수동으로 추출한 음향 특징(MFCC, 피치 등) 없이 원시 스펙트로그램에서 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 레이블이 없는 음성 데이터에서의 비지도 사전학습이 정서적 밸런스 분류 성능 향상에 기여하는가?
• RQ2 정서적 밸런스와 활성도를 함께 목표로 하는 다중 작업 학습이 주요 밸런스 분류기의 일반화 능력과 정확도 향상에 기여하는가?
• RQ3 원시 스펙트로그램에서의 표현 학습 방식이 정서 컴퓨팅 분야에서 기존의 특징 기반 접근 방식과 비교해 어떻게 성능을 냈는가?
• RQ4 비슷한 규모의 음성 데이터(예: 미팅)를 사용하여 관련 없는 데이터로 사전학습을 수행할 경우, 정서적 음성 표현의 향상 정도는 어느 정도인가?
• RQ5 비지도 사전학습으로 인한 성능 향상이 다양한 분류 척도(3개 클래스 vs. 5개 클래스)에서 강인한가?

주요 결과

• BasicDCGAN 모델은 5개 클래스의 정서적 밸런스 분류 작업에서 43.88%의 정확도를 기록하였으며, 이는 완전히 감독된 CNN 기반 모델보다 유의미하게 뛰어났다.
• 3개 클래스 척도에서 모델은 49.80%의 정확도를 달성하였으며, 이는 테스트 화자와의 세션 파art너 데이터를 사용하는 최신 기술 수준의 모델들과 경쟁 가능한 성능을 보였다.
• 예측된 연속적 밸런스 레이블과 실제 레이블 간 피어슨 상관계수 ρ = 0.2618 (p < .001)를 기록하여 의미 있는 회귀 성능을 입증하였다.
• AMI 미팅 코퍼스에서의 레이블이 없는 데이터가 특징 학습에 유의미하게 기여하였으며, 이는 완전히 감독된 모델보다 우수한 성능을 보여주었다.
• 다중 작업 학습은 성능 향상에 기여하지 않았으며, 오히려 약간의 성능 저하를 초래하였으며, MultitaskCNN은 모든 지표에서 BasicCNN보다 열등한 성능을 보였다.
• 혼동 행렬 분석 결과, '부정적' 클래스는 높은 재현율을 보였지만 정밀도는 낮았으며, '매우 긍정적' 클래스는 가장 높은 F1 스코어(0.5284)를 기록하였다.