[논문 리뷰] Transfer Learning for Improving Speech Emotion Classification Accuracy

Siddique Latif, Rajib Rana외 3명|arXiv (Cornell University)|2018. 01. 19.

Emotion and Mood Recognition참고 문헌 28인용 수 6

한 줄 요약

이 논문은 다양한 언어와 소량의 타겟 데이터에서 사전 훈련된 특징을 활용하여 전이 학습을 통해 교차 코퍼스 및 교차 언어 음성 정서 인식을 향상시키기 위해 딥 벨리프 네트워크(DBNs)를 제안한다. DBNs는 희소 오토에코더와 SVM 기준선보다 뛰어난 성능을 보이며, 타겟 데이터가 제한되어 있거나 다국어 훈련을 수행할 경우에도 높은 정확도를 달성한다.

ABSTRACT

The majority of existing speech emotion recognition research focuses on automatic emotion detection using training and testing data from same corpus collected under the same conditions. The performance of such systems has been shown to drop significantly in cross-corpus and cross-language scenarios. To address the problem, this paper exploits a transfer learning technique to improve the performance of speech emotion recognition systems that is novel in cross-language and cross-corpus scenarios. Evaluations on five different corpora in three different languages show that Deep Belief Networks (DBNs) offer better accuracy than previous approaches on cross-corpus emotion recognition, relative to a Sparse Autoencoder and SVM baseline system. Results also suggest that using a large number of languages for training and using a small fraction of the target data in training can significantly boost accuracy compared with baseline also for the corpus with limited training examples.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터가 서로 다른 코퍼스 또는 언어에서 올 경우 음성 정서 인식 성능 저하 문제를 해결한다.
• DBNs를 활용한 전이 학습이 다양한 음성 정서 데이터셋 간 일반화 능력을 향상시킬 수 있는지 조사한다.
• 다국어 훈련과 소량의 타겟 도메인 데이터 포함이 정확도에 미치는 영향을 평가한다.
• DBNs가 자원이 적거나 도메인이 다른 상황에서 기존 모델인 희소 오토에코더와 SVM보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 강력한 일반화 및 특징 학습 능력을 지닌 점을 고려해 주로 DBNs를 모델로 사용하였다.
• 영어, 독일어, 이탈리아어 등 세 가지 언어에서 다양한 코퍼스(IEMOCAP, FAU-AIBO, EMO-DB, EMOVO, SAVEE)의 대규모 데이터를 기반으로 DBNs를 훈련시켰다.
• 원천 코퍼스에서 사전 훈련한 DBNs를 타겟 코퍼스에 대해 소량의 레이블 데이터로 미세 조정함으로써 전이 학습을 적용하였다.
• 다양한 코퍼스와 언어 간에 2-폴드 교차 검증 및 리브 원 아웃(leave-one-out) 기반 평가 방법을 사용하여 성능을 평가하였다.
• 동일한 조건에서 DBN의 성능을 희소 오토에코더와 SVM 기준선과 비교하였다.
• 훈련에 사용된 타겟 데이터 비율(10%에서 80%)을 변화시켜 데이터 효율성을 평가하였다.

실험 결과

연구 질문

• RQ1 DBNs를 활용한 전이 학습이 교차 코퍼스 및 교차 언어 환경에서 음성 정서 인식 정확도를 향상시킬 수 있는가?
• RQ2 다국어 훈련이 자원이 적거나 알려지지 않은 언어 환경에서 DBNs의 성능에 어떤 영향을 미치는가?
• RQ3 기준선 모델 대비 소량의 타겟 도메인 데이터를 포함시킬 경우 정확도 향상 정도는 어느 정도인가?
• RQ4 다른 언어, 연령대, 녹음 조건 간에 전이할 경우 DBNs의 성능이 떨어지는가?

주요 결과

• DBNs는 교차 코퍼스 정서 인식에서 희소 오토에코더와 SVM 기준선보다 뚜렷이 뛰어난 성능을 보이며, 뛰어난 특징 학습 능력과 일반화 능력을 입증하였다.
• 타겟 데이터의 20%만 포함시켜도(예: EMO-DB에서 약 90개 발화) 정확도가 기준선을 초월하는 성과를 기록하였으며, 이는 자원이 적은 코퍼스에서도 성립하였다.
• IEMOCAP과 FAU-AIBO를 활용한 다국어 훈련이 단일 언어 훈련보다 더 높은 정확도를 달성하였으며, 특히 이탈리아어(EMOVO)와 같이 알려지지 않은 언어에서 두드러진 성능 향상을 보였다.
• 리브 원 아웃 훈련 방식에서 가장 높은 정확도를 기록하여, 다양한 언어에 노출된 모델이 강건성과 일반화 능력을 향상시킨다는 점을 시사하였다.
• 영어에서 독일어로 전이하거나 성인과 어린이의 연령대 간 전이 시 성능 저하가 발생하여 도메인 이동 문제를 확인하였다.
• 유사 언어(독일어)를 사용하더라도 FAU-AIBO(어린이 발화)와 EMO-DB(성인 발화) 간 성능 차이가 있었으며, 이는 인구 통계학적 요인과 녹음 조건의 차이가 모델 전이 가능성에 영향을 준다는 점을 시사하였다.