[논문 리뷰] Learning spectro-temporal features with 3D CNNs for speech emotion recognition

Jaebok Kim, Khiet P. Truong외 2명|arXiv (Cornell University)|2017. 08. 14.

Emotion and Mood Recognition참고 문헌 23인용 수 9

한 줄 요약

이 논문은 3D 컨볼루션 신경망(3D CNNs)을 제안하여 음성 정서 인식(SER)을 위한 스펙트로-타임적 특징을 동시에 학습하며, 파rameter 수가 적은데도 불구하고 CNN-LSTM 하이브리드 모델을 능가한다. 이는 스펙트럼적 및 시간적 동역학을 모두 모델링함으로써 달성된다. 이 방법은 대규모이고 다양한, 발화자 독립적 데이터셋에서 뛰어난 성능을 보이며, 특징 공간에서 클래스 간 분리도가 향상되고, 중립과 분노 정서 간 혼동이 크게 감소한다.

ABSTRACT

In this paper, we propose to use deep 3-dimensional convolutional networks (3D CNNs) in order to address the challenge of modelling spectro-temporal dynamics for speech emotion recognition (SER). Compared to a hybrid of Convolutional Neural Network and Long-Short-Term-Memory (CNN-LSTM), our proposed 3D CNNs simultaneously extract short-term and long-term spectral features with a moderate number of parameters. We evaluated our proposed and other state-of-the-art methods in a speaker-independent manner using aggregated corpora that give a large and diverse set of speakers. We found that 1) shallow temporal and moderately deep spectral kernels of a homogeneous architecture are optimal for the task; and 2) our 3D CNNs are more effective for spectro-temporal feature learning compared to other methods. Finally, we visualised the feature space obtained with our proposed method using t-distributed stochastic neighbour embedding (T-SNE) and could observe distinct clusters of emotions.

연구 동기 및 목표

• 딥 러닝을 사용하여 음성 정서 인식(SER)에서 스펙트로-타임적 동역학을 모델링하는 데 도전하는 것.
• 수작업 특징에 대한 의존도를 줄이고 다양한 대규모 발화자 독립적 데이터셋에서의 일반화 능력을 향상시키는 것.
• 3D CNN이 중간 정도의 파라미터 수로도 짧은 기간 및 긴 기간의 스펙트럼적 및 시간적 특징을 효과적으로 학습할 수 있는지 평가하는 것.
• 실제 생태학적 조건('in-the-wild')에서 3D CNN의 성능을 최신 기술인 CNN-LSTM 및 DNN-ELM 등과 비교하는 것.
• t-SNE를 사용하여 학습된 특징의 분류 능력을 시각화하고 분석하는 것.

제안 방법

• 이 방법은 2D 스펙트로그램 슬라이스의 시퀀스를 주파수, 시간, 채널으로 구성된 3D 텐서로 처리하여 스펙트럼적 및 시간적 패턴을 동시에 학습한다.
• 동일한 구조의 층을 사용하며, 얕은 시간적 커널과 중간 정도의 깊이를 가진 스펙트럼적 커널을 활용하여 인덕티브 바이어스와 모델 용량을 균형 있게 조절한다.
• t-SNE 시각화와 분류를 위해 소프트맥스 분류기 이전의 최종 완전 연결 층에서 발화 수준의 특징을 추출한다.
• 모델은 IEMOCAP, SEMAINE, RECOLA 등 포함된 일곱 개의 통합 코퍼스를 바탕으로 발화자 독립 설정에서 훈련 및 평가된다.
• 통계적 유의성은 대응 t-검정에서 유도된 p-값을 사용하여 평가하며, 클래스별 성능은 혼동 행렬로 보고된다.
• t-SNE는 고차원 특징 공간을 시각화하여 정서 카테고리에 해당하는 군집 구조를 드러낸다.

실험 결과

연구 질문

• RQ1 중간 정도의 파라미터 수로 3D CNN이 음성 정서 인식을 위한 스펙트로-타임적 특징을 효과적으로 학습할 수 있는가?
• RQ2 특히 얕은 시간적 커널 대 비해 깊은 스펙트럼적 커널을 사용하는 아키텍처 설계가 SER 성능에 어떤 영향을 미치는가?
• RQ3 3D CNN 기반 특징 학습이 발화자 독립적 SER에서 CNN-LSTM 및 기타 딥 러닝 베이스라인보다 우월한가?
• RQ4 t-SNE를 통해 시각화된 특징이 얼마나 잘 분류 가능한가?
• RQ5 실제 생태학적 조건을 반영하는 불균형한 다중 코퍼스 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• 동일한 3D CNN 아키텍처에서 얕은 시간적 커널과 중간 정도 깊이의 스펙트럼적 커널 조합이 탐색된 구성 중 최적의 성능을 낳는다.
• 3D CNN 모델은 2D-CNN-LSTM-DNN 대비 '중립'과 '분노' 정서 간 혼동을 28% 감소시키고, '중립'과 '슬픔' 정서 간 혼동을 17% 감소시킨다.
• 3D CNN-DNN 모델은 평가된 모든 방법 중 가장 높은 분류 정확도를 기록하며, DNN-ELM, LSTM-ELM, 2D-CNN-LSTM-DNN를 모두 능가한다.
• t-SNE 시각화 결과, 3D CNN은 중립, 행복, 슬픔, 분노 각 정서 클래스에 대해 더 분류 능력이 뛰어나고 잘 분리된 군집을 학습한다.
• 3D CNN은 레이턴시 메모리 메커니즘을 사용하는 CNN-LSTM에 비해 스펙트로-타임적 특징 학습에서 더 효과적이고 효율적이다.
• 다양하고 실제 생태학적 조건을 반영하는 대규모 발화자 독립적 평가 환경에서 모델은 강건성을 보이며, 높은 일반화 잠재력을 시사한다.