[논문 리뷰] Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition

Suraj Tripathi, Abhiram Ramesh외 3명|arXiv (Cornell University)|2019. 06. 19.

Speech and Audio Processing참고 문헌 23인용 수 8

한 줄 요약

이 논문은 소리 감정 인식(SER) 모델을 위한 CNN 기반 아키텍처를 제안하며, 소프트맥스 손실과 센터 손실을 동시에 최적화하여 분류 가능한 특징을 학습하고, 입력 특징의 재구성 작업을 보조 정규화 과제로 사용한다. 이 방법은 다중 작업 학습을 통해 특징의 분류 능력과 일반화 능력을 향상시켜 더 적은 파라미터로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a Convolutional Neural Network (CNN) inspired by Multitask Learning (MTL) and based on speech features trained under the joint supervision of softmax loss and center loss, a powerful metric learning strategy, for the recognition of emotion in speech. Speech features such as Spectrograms and Mel-frequency Cepstral Coefficient s (MFCCs) help retain emotion-related low-level characteristics in speech. We experimented with several Deep Neural Network (DNN) architectures that take in speech features as input and trained them under both softmax and center loss, which resulted in highly discriminative features ideal for Speech Emotion Recognition (SER). Our networks also employ a regularizing effect by simultaneously performing the auxiliary task of reconstructing the input speech features. This sharing of representations among related tasks enables our network to better generalize the original task of SER. Some of our proposed networks contain far fewer parameters when compared to state-of-the-art architectures.

연구 동기 및 목표

• 메트릭 학습을 통해 음성 감정 인식(SER)에서 더 분류 가능한 음향 특징을 학습함으로써 SER 성능을 향상시키기.
• 입력 음성 특징의 보조 재구성 작업을 통해 과적합을 방지하고 SER 모델의 일반화 능력을 향상시키기.
• 성능을 유지하면서도 복잡도를 줄이기 위해 경량 아키텍처를 설계함으로써 모델 복잡도를 감소시키기.
• 다중 작업 학습 프레임워크 내에서 중심 손실과 재구성 손실을 조합하는 것이 SER에 미치는 영향을 탐색하기.
• 공유된 표현이 저자원 감정 인식 환경에서의 일반화 능력을 향상시키는지 검증하기.

제안 방법

• 소리 감정 인식에 사용되는 스펙트로그램 및 MFCC 등의 음성 특징을 기반으로 CNN을 훈련시키며, 소프트맥스 손실과 센터 손실의 병렬 지도를 적용한다.
• 동일한 클래스의 임bedding을 그들의 클래스 중심으로 끌어당김으로써 클래스 내 분산을 최소화하기 위해 중심 손실을 적용한다.
• 특정 레이어의 블로킹 레이어에서 입력 음성 특징을 재구성하는 보조 재구성 과제를 도입한다.
• 주 분류 과제와 재구성 과제 간에 동일한 특징 추출기(Feature Extractor)를 공유하여 강력한 표현 학습을 유도한다.
• 교차 엔트로피(소프트맥스) 손실과 중심 손실을 조합한 다중 작업 손실 함수를 사용하며, 재구성 손실은 정규화 요소로 기능한다.
• 최신 기술 수준의 모델보다 더 적은 파라미터를 가진 경량 아키텍처를 사용하면서도 높은 성능 유지를 달성한다.

실험 결과

연구 질문

• RQ1 소프트맥스 손실과 중심 손실을 동시에 최적화하는 것이 음성 감정 인식을 위한 분류 가능한 특징 학습에 기여하는가?
• RQ2 보조 과제로 재구성 손실을 추가하면 SER 모델의 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 다중 작업 학습을 활용할 경우, 경량 CNN 아키텍처가 더 적은 파라미터로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 중심 손실과 재구성 손실의 조합이 학습된 임베딩 공간에서 클래스 내 밀도와 클래스 간 분리도에 어떤 영향을 미치는가?
• RQ5 분류 과제와 재구성 과제 간에 공유된 표현이 저자원 SER 벤치마크에서 더 높은 성능을 이끌어내는가?

주요 결과

• 제안된 모델은 파라미터 수를 크게 줄였음에도 불구하고 음성 감정 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 소프트맥스 손실과 중심 손실을 함께 훈련시키면 임베딩 공간에서 클래스 내 군집이 더욱 조밀해지고 클래스 간 분리도가 향상된다.
• 재구성 손실은 일반화 능력을 향상시키고 과적합을 줄이는 효과적인 정규화 요소로 작용하며, 특히 데이터가 적은 환경에서 두드러진다.
• 기존 아키텍처에 비해 표준 SER 데이터셋에서 더 낮은 파라미터 수로도 뛰어난 성능을 기록하며, 다중 작업 설계의 효과를 입증한다.
• 중심 손실의 사용은 학습된 특징의 분류 능력을 향상시켜 분류 정확도를 크게 향상시킨다.
• 제거 실험(Ablation study) 결과, 중심 손실과 재구성 손실이 성능 향상에 독립적이고 상호 보완적으로 기여하는 것으로 확인되었다.