[논문 리뷰] Cross Corpus Speech Emotion Classification- An Effective Transfer Learning Technique.

Siddique Latif, Rajib Rana외 3명|arXiv (Cornell University)|2018. 01. 19.

Speech Recognition and Synthesis인용 수 28

한 줄 요약

이 논문은 딥 벨리프 네트워크(DBNs)를 사용하여 다양한 코퍼스 간 및 다국어 음성 정서 인식을 조사하며, 특히 다국어 데이터와 제한된 타겟 셋 학습을 통한 전이 학습이 기존의 스퍼스 자동에코더와 서포트 벡터 머신(SVM)과 같은 방법보다 정확도를 크게 향상시킨다는 것을 입증한다. DBNs는 분류 모델보다 뛰어난 일반화 능력을 보이며, 자원이 적은 정서 인식 환경에서의 성능이 뛰어나다.

ABSTRACT

Cross-corpus speech emotion recognition can be a useful transfer learning technique to build a robust speech emotion recognition system by leveraging information from various speech datasets - cross-language and cross-corpus. However, more research needs to be carried out to understand the effective operating scenarios of cross-corpus speech emotion recognition, especially with the utilization of the powerful deep learning techniques. In this paper, we use five different corpora of three different languages to investigate the cross-corpus and cross-language emotion recognition using Deep Belief Networks (DBNs). Experimental results demonstrate that DBNs with generalization power offers better accuracy than a discriminative method based on Sparse Auto Encoder and SVM. Results also suggest that using a large number of languages for training and using a small fraction of target data in training can significantly boost accuracy compared to using the same language for training and testing.

연구 동기 및 목표

• 교차 코퍼스 및 교차 언어 음성 정서 인식에서 깊이 생성 모델을 사용한 전이 학습의 효과성을 평가하는 것.
• 정서 분류에서 스퍼스 자동에코더와 SVM과 같은 분류 모델과 비교하여 딥 벨리프 네트워크(DBNs)의 성능을 평가하는 것.
• 최적의 학습 설정, 예를 들어 다국어 데이터 사용 및 타겟 셋의 소수 비율을 활용하여 정확도를 극대화하는 방법을 규명하는 것.

제안 방법

• 이 연구는 다양한 코퍼스에서 음성 특징의 계층적 표현을 학습하기 위해 주로 딥 벨리프 네트워크(DBNs)를 사용한다.
• 세 가지 다른 언어에서 오는 다섯 개인 코퍼스의 음성 데이터를 사용하여 DBN 기반 시스템을 학습하고 평가한다.
• 전이 학습은 소스 코퍼스에서 DBN을 사전 학습하고, 제한된 데이터로 타겟 코퍼스에서 미세 조정함으로써 적용된다.
• 모델은 탐욕적인 계층별 사전 학습을 수행한 후 분류 성능 최적화를 위해 분류 기반의 미세 조정을 수행한다.
• 정서 인식은 표준 평가 지표를 사용하여 동일한 데이터 분할에서 DBNs, 스퍼스 자동에코더, SVM 간에 비교 평가된다.
• 실험 설정은 다양한 데이터셋 간 일반화 능력을 평가하기 위해 교차 코퍼스 및 교차 언어 평가를 포함한다.

실험 결과

연구 질문

• RQ1 DBN 기반 전이 학습은 교차 코퍼스 음성 정서 인식에서 스퍼스 자동에코더와 SVM과 같은 분류 모델과 비교해 어떻게 성능을 발휘하는가?
• RQ2 학습 시 여러 언어를 사용할 경우, 자원이 적은 타겟 환경에서 정확도에 어떤 영향을 미치는가?
• RQ3 다국어 사전 학습과 결합된 타겟 언어 데이터의 소수 비율이 성능 향상에 기여할 수 있는가?
• RQ4 어떤 설정에서 교차 코퍼스 전이 학습이 정서 분류의 최고 정확도를 달성하는가?

주요 결과

• DBNs는 교차 코퍼스 음성 정서 인식에서 스퍼스 자동에코더와 SVM보다 더 높은 정확도를 달성하며, 뛰어난 일반화 능력을 입증한다.
• 사전 학습 시 다수의 언어를 사용하면, 타겟 코퍼스에서 조건이 불리하더라도 성능 향상이著명하게 이루어진다.
• 다국어 소스 데이터를 활용하면서도 타겟 셋의 소수 비율로만 학습하는 것이 동일 언어로 학습 및 테스트하는 것보다 더 높은 정확도를 이룬다.
• 결과적으로 다양한 코퍼스와 언어 간 전이 학습이 강력한 음성 정서 인식 시스템을 구축하는 데 효과적인 전략임을 확인한다.