[논문 리뷰] Towards Speech Emotion Recognition "in the wild" using Aggregated Corpora and Deep Multi-Task Learning

Jaebok Kim, Gwenn Englebienne외 2명|arXiv (Cornell University)|2017. 08. 13.

Emotion and Mood Recognition참고 문헌 25인용 수 17

한 줄 요약

이 논문은 다양한 음성 코퍼스를 통합하여, 감정 인식과 함께 성별 및 자연스러움을 보조 과제로 함께 훈련하는 딥 다중과제 학습(MTL) 프레임워크를 제안한다. 이는 '실세계'에서의 음성 감정 인식(SER)에 대해 일반화 능력을 크게 향상시키며, 복합 MTL 모델이 단일과제 학습보다 최대 17.3%p 높은 무작위 정확도를 기록하고, 특징 공간에서 더 구분력 있는 고수준 감정 표현을 생성한다.

ABSTRACT

One of the challenges in Speech Emotion Recognition (SER) "in the wild" is the large mismatch between training and test data (e.g. speakers and tasks). In order to improve the generalisation capabilities of the emotion models, we propose to use Multi-Task Learning (MTL) and use gender and naturalness as auxiliary tasks in deep neural networks. This method was evaluated in within-corpus and various cross-corpus classification experiments that simulate conditions "in the wild". In comparison to Single-Task Learning (STL) based state of the art methods, we found that our MTL method proposed improved performance significantly. Particularly, models using both gender and naturalness achieved more gains than those using either gender or naturalness separately. This benefit was also found in the high-level representations of the feature space, obtained from our method proposed, where discriminative emotional clusters could be observed.

연구 동기 및 목표

• 훈련 및 테스트 데이터가 화자, 과제, 녹음 조건 측면에서 상당히 다를 수 있는 '실세계'에서의 음성 감정 인식(SER)에서의 도메인 이동 문제를 해결하기 위해.
• 감정 음성 코퍼스에서 흔히 이용 가능한 보조 과제인 성별 및 자연스러움을 활용하여 모델의 일반화 능력을 향상시키기 위해.
• 실제 '실세계' 배포 시나리오를 시뮬레이션하기 위해 내부 코퍼스 및 교차 코퍼스 설정 모두에서 다중과제 학습의 효과를 평가하기 위해.
• MTL에서 공유되는 표현이 감정 분류를 위한 더 구분력 있는 고수준 특징 표현으로 이어지는지 조사하기 위해.

제안 방법

• AIBO, EMODB, ENTERFACE, LDC, IEMOCAP 등 다양한 감정 음성 코퍼스를 통합하여 실제 세계의 데이터 변동성을 시뮬레이션하는 단일 훈련 세트를 구성한다.
• 주 과제는 감정 분류이며, 성별 및 자연스러움을 보조 과제로 삼는 딥 신경망(DNN) 및 LSTM 기반 아키텍처를 설계한다.
• 하나의 과제에서 공유되는 저수준 레이어를 통해 공유 표현을 학습하고, 고수준 분류를 위한 과제별 전용 레이어를 허용한다.
• 모든 세 과제(감정, 성별, 자연스러움)에 대한 교차 엔트로피 손실을 조합한 공동 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 고수준 특징 표현을 시각화하고 감정 카테고리 간의 클러스터 분리도를 평가하기 위해 t-분포 확률적 근접 이웃 기반(t-distributed stochastic neighbor embedding, t-SNE)을 적용한다.
• 내부 코퍼스 및 교차 코퍼스 테스트 설정에서 성능을 정량적으로 평가하기 위해 무작위 정확도(UA)와 혼동 행렬을 사용한다.

실험 결과

연구 질문

• RQ1 성별 및 자연스러움을 보조 과제로 삼는 다중과제 학습이 교차 코퍼스 설정에서 음성 감정 인식 모델의 일반화 능력을 향상시키는가?
• RQ2 성별 및 자연스러움을 하위 과제로 포함함으로써 특징 공간에서 감정 음성의 더 구분력 있는 고수준 표현이 유도되는가?
• RQ3 내부 코퍼스 및 교차 코퍼스 평가 모두에서 다중과제 학습의 성능은 단일과제 학습과 비교해 어떻게 다를까?
• RQ4 성별 및 자연스러움을 모두 하위 과제로 사용할 경우, 단일 과제만 사용하는 것보다 성능 향상이 발생하는가?
• RQ5 다중과제 학습은 알려지지 않은 코퍼스에 적용했을 때 일반화 능력을 해칠까, 아니면 일관되게 강건성을 향상시킬까?

주요 결과

• DNN-MTL 모델은 교차 코퍼스 설정에서 DNN-STL 대비 무작위 정확도가 17.3%p 향상되어 35.9%에서 53.4%로 상승했으며, 슬픔(70%)과 분노(47%) 감정에서 가장 높은 향상을 보였다.
• LSTM-MTL 모델은 교차 코퍼스 평가에서 LSTM-STL 대비 무작위 정확도가 6.3%p 향상되어 56.5%에서 62.8%로 상승했으며, 다양한 아키텍처에서 일관된 성능 향상을 보였다.
• 성별 및 자연스러움을 모두 하위 과제로 사용한 ALL-MTL 모델이 가장 높은 성능 향상을 보였고, 일반화에 악영향을 주지 않았으며, 단일 보조 과제만 사용한 모델보다 뛰어난 성능을 보였다.
• t-SNE 시각화 결과, MTL 모델은 단일과제 모델 대비 중립, 행복, 슬픔, 분노 감정의 클러스터가 훨씬 더 분리되고 구분력 있게 나타났다.
• AIBO 및 IEMOCAP와 같은 더 큰 코퍼스에 대해서는 성능 향상이 특히 두드러졌으며, 내부 코퍼스 평가에서도 상당한 성과를 보였고, 이는 더 큰 데이터셋에 대한 확장 가능성도 시사한다.
• 결과적으로, 성별 및 자연스러움을 하위 과제로 삼는 MTL은 테스트 데이터 접근 없이도 '실세계' 조건에서 SER의 일반화 능력을 향상시키는 강력하고 효과적인 전략임을 시사한다.