[논문 리뷰] A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition

Zhou Sitong, Homayoon Beigi|arXiv (Cornell University)|2020. 08. 06.

Emotion and Mood Recognition참고 문헌 20인용 수 17

한 줄 요약

이 논문은 대규모 Tedlium2 ASR 데이터셋에서 사전 훈련된 TDNN 모델을 사용하여 스피치 감정 인식을 위한 전이 학습 방법을 제안한다. 여기서는 화자 적응형 MFCC 및 i-vector 특징을 활용한다. 이 방법은 IEMOCAP 데이터셋에서 71.7%의 무게 조정되지 않은 정확도를 달성하여 이전의 최고 성능 모델을 크게 능가한다.

ABSTRACT

This paper presents a transfer learning method in speech emotion recognition based on a Time-Delay Neural Network (TDNN) architecture. A major challenge in the current speech-based emotion detection research is data scarcity. The proposed method resolves this problem by applying transfer learning techniques in order to leverage data from the automatic speech recognition (ASR) task for which ample data is available. Our experiments also show the advantage of speaker-class adaptation modeling techniques by adopting identity-vector (i-vector) based features in addition to standard Mel-Frequency Cepstral Coefficient (MFCC) features.[1] We show the transfer learning models significantly outperform the other methods without pretraining on ASR. The experiments performed on the publicly available IEMOCAP dataset which provides 12 hours of motional speech data. The transfer learning was initialized by using the Ted-Lium v.2 speech dataset providing 207 hours of audio with the corresponding transcripts. We achieve the highest significantly higher accuracy when compared to state-of-the-art, using five-fold cross validation. Using only speech, we obtain an accuracy 71.7% for anger, excitement, sadness, and neutrality emotion content.

연구 동기 및 목표

• 저자원 스피치 감정 인식 문제를 해결하기 위해 대규모 ASR 데이터셋을 사전 훈련 소스로 활용한다.
• 자동 음성 인식(ASR)에서 감정 분류로의 전이 학습을 통해 감정 인식 성능을 향상시킨다.
• MFCC 특징에 i-vector 기반 화자 적응을 통합하여 모델의 강인성을 향상시킨다.
• IEMOCAP 벤치마크에서 5겹 교차 검증 전략을 사용하여 전이 학습의 효과를 평가한다.

제안 방법

• 207시간의 Tedlium2 ASR 데이터에서 사전 훈련된 TDNN 기반 딥 네ural 네트워크를 사용하여 일반적인 음성 표현을 학습한다.
• 각 프레임에서 40차원 MFCC와 100차원 i-vector를 연결하여 화자 적응형 특징을 생성한다.
• 사전 훈련된 TDNN의 12번째 레이어를 IEMOCAP 감정 데이터셋에서 미세 조정하기 위한 볼트넥 특징 레이어로 선택한다.
• 프레임 수준의 감정 분류를 위해 완전 연결층과 소프트맥스 분류기를 사용하여 미세 조정을 수행한다.
• 최대 우도 투표를 통해 프레임 수준 예측을 집계하여 문장 수준의 예측을 확보한다.
• 5겹 교차 검증 전략을 사용하며, IEMOCAP의 각 세션을 한 번씩 테스트 세트로 사용한다.

실험 결과

연구 질문

• RQ1 대규모 ASR 데이터에서의 사전 훈련이 저자원 스피치 감정 인식 성능을 향상시킬 수 있는가?
• RQ2 i-vector 기반 화자 적응 통합이 감정 인식 정확도에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 TDNN 아키텍처에서 감정 분류에 가장 적합한 전이 가능한 특징을 제공하는 레이어는 어느 것인가?
• RQ4 제한된 감정 데이터셋에서 엔드 투 엔드 훈련에 비해 ASR에서의 전이 학습이 성능 향상에 기여하는가?

주요 결과

• 제안된 전이 학습 방법은 IEMOCAP 데이터셋에서 5겹 교차 검증을 통해 71.7%의 무게 조정되지 않은 정확도를 달성하여 이전 최고 성능인 68.8%를 뛰어넘었다.
• 12번째 TDNN 레이어가 가장 높은 성능(세션 5에서 69.3%)을 보였으며, 이는 전결과 레이어(63.4%)와 13번째 레이어(66.7%)를 뛰어넘었다. 이는 일반화와 판별력 사이의 최적의 균형을 이룬다는 것을 시사한다.
• 모델은 흥분과 중립을 구분하는 데 특히 어려움을 겪었으며, 28%의 흥분 샘플이 중립으로 잘못 분류되었다.
• 중립은 가장 흔한 오분류 원인으로, 낮은 에너지와 단조로운 발화 패턴으로 인해 슬픔과 혼동되는 경향이 있다.
• i-vector 특징의 사용은 감정 인식에서 화자 및 환경적 변동성에 대한 강인성을 크게 향상시켰다.
• 결과는 ASR에서 학습된 고수준 음성 표현이 감정 인식으로 효과적으로 전이됨을 보여주며, 음성 인식과 감정 탐지 간에 공통된 기반 표현이 존재할 가능성을 시사한다.