[논문 리뷰] Multi-Channel Auto-Encoder for Speech Emotion Recognition

Zefang Zong, Hao Li외 1명|arXiv (Cornell University)|2018. 10. 25.

Emotion and Mood Recognition참고 문헌 18인용 수 5

한 줄 요약

이 논문은 다양한 저수준 음성 기술적 특성(Low-Level Descriptors, LLDs)에 대해 훈련된 다수의 국소적 딥뉴럴넷(DNNs)을 사용하는 다중채널 오토인코더(Multi-Channel Auto-Encoder, MTC-AE)를 제안한다. 각 DNN는 스택드 노이즈 제거 오토인코더(SDAE)로 사전 훈련되며, 병합된 블로킹 특징을 통해 전역 분류를 수행한다. 이 방법은 IEMOCAP 데이터셋에서 64.8%의 이식된 화자 제외 평균 정확도를 기록하여 이전 최고 성능(SOTA)보다 2.4% 높은 성능을 달성한다.

ABSTRACT

Inferring emotion status from users' queries plays an important role to enhance the capacity in voice dialogues applications. Even though several related works obtained satisfactory results, the performance can still be further improved. In this paper, we proposed a novel framework named multi-channel auto-encoder (MTC-AE) on emotion recognition from acoustic information. MTC-AE contains multiple local DNNs based on different low-level descriptors with different statistics functions that are partly concatenated together, by which the structure is enabled to consider both local and global features simultaneously. Experiment based on a benchmark dataset IEMOCAP shows that our method significantly outperforms the existing state-of-the-art results, achieving $64.8\%$ leave-one-speaker-out unweighted accuracy, which is $2.4\%$ higher than the best result on this dataset.

연구 동기 및 목표

• 저수준 기술적 특성(LLD)의 직접 연결으로 인한 과적합 및 고차원 입력 문제를 해결하기 위해.
• 각 LLD의 독립적인 분류 능력을 유지하면서도 공통 전역 분류기로 특징 융합을 가능하게 하기 위해.
• 스택드 노이즈 제거 오토인코더(SDAE)를 사용한 비지도 사전 훈련을 통해 일반화 능력과 표현 품질을 향상시키기 위해.
• 통합 목표 함수 아래에서 국소 및 전역 분류기를 함께 훈련함으로써 벤치마크 데이터셋에서 뛰어난 성능을 달성하기 위해.
• 다중채널 오토인코딩을 통한 구조적 특징 융합이 기존의 연결 또는 고수준 통계 방법보다 더 강력하고 구분력 있는 표현을 제공함을 입증하기 위해.

제안 방법

• 프레임워크는 38개의 국소적 DNN을 사용하며, 각 DNN은 별개의 저수준 음성 기술적 특성(LLD)에 대해 훈련되어 특징의 독립성을 유지한다.
• 각 국소적 DNN는 스택드 노이즈 제거 오토인코더(SDAE)를 사용해 사전 훈련되며, 20% 노이즈를 가로막은 입력을 재구성함으로써 강건성과 일반화 능력을 향상시킨다.
• 각 국소적 DNN의 블로킹 특징이 추출되어 병합되어 전역 분류기용 고차원적이고 압축된 표현을 형성한다.
• 전역 분류기는 국소 분류기와 함께 단일 목표 함수를 사용해 함께 훈련되며, 국소 및 전역 학습 간의 일치를 보장한다.
• 최종 예측은 모든 국소 및 전역 분류기의 출력을 융합하여 도출되며, 이로써 전체적인 분류 능력이 향상된다.
• 최적화는 Adam을 사용하며, 학습률 0.0003, 배치 크기 64, 검증 세트 성능 기반 조기 정지 전략을 적용한다.

실험 결과

연구 질문

• RQ1 특징 독립성을 유지하면서도 공동 학습을 가능하게 하는 다중채널 오토인코더 아키텍처가 음성 정서 인식 성능 향상에 기여할 수 있는가?
• RQ2 스택드 노이즈 제거 오토인코더(SDAE)로 국소 DNN를 사전 훈련하면, 데이터가 적은 환경에서 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 다양한 전문화된 국소 네트워크의 블로킹 특징을 연결하는 것과 원시 LLD를 직접 연결하는 것 간의 분류 정확도는 어떻게 비교되는가?
• RQ4 국소 및 전역 분류기를 함께 훈련하는 것이 순차적 또는 별도 훈련과 비교해 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 MTC-AE 프레임워크는 이식된 화자 제외 평가 조건에서 IEMOCAP 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• MTC-AE 프레임워크는 IEMOCAP 데이터셋에서 64.8%의 이식된 화자 제외 평균 정확도를 기록하여 이전 최고 성능(SOTA)보다 2.4% 향상되었다.
• SDAE 사전 훈련을 포함하지 않은 변형(MTC-DNN)도 여전히 이전 방법을 초월해 62.7%의 정확도를 기록하여, 구조적 특징 융합의 유용성을 입증했다.
• SDAE로의 사전 훈련은 성능 향상에 상당한 기여를 하였으며, 노이즈에 강건한 초기화가 모델 수렴과 일반화 능력을 향상시킨다는 것을 시사한다.
• 다양한 국소 DNN들에서 유도된 블로킹 특징의 사용은 원시 LLD의 직접 연결보다 더 나은 표현 학습을 가능하게 하였으며, 과적합을 감소시키고 분류 능력을 향상시켰다.
• 통합 목표 함수 아래에서 국소 및 전역 분류기를 함께 훈련함으로써, 별도 훈련보다 더 일관되고 효과적인 특징 학습이 가능했다.
• 이 방법은 특히 화자에 따라 달라지는 설정에서 고차원 입력과 제한된 훈련 데이터로 인한 과적합 문제를 효과적으로 완화하였다.