[논문 리뷰] Transfer Learning based Speech Affect Recognition in Urdu

Sara Durrani, Muhammad Umair Arshad|arXiv (Cornell University)|2021. 03. 05.

Speech and Audio Processing참고 문헌 20인용 수 6

한 줄 요약

이 논문은 저자원 언어인 우르두어에서 저자원 음성 감정 인식(SAR)을 향상시키기 위해 딥 리뷰지 네트워크(ResNet34)를 활용한 전이학습 접근법을 제안한다. 고자원 영어 및 독일어 데이터셋(RAVDESS, SAVEE, Emo-DB)에서 사전학습한 후 단 400개의 우르두어 발화에 대해 미세조정한 결과, 우르두어에서 74.7%의 무게 없는 평균 재현율(UAR)을 달성하였으며, 기준 모델보다 뚜렷이 뛰어난 성능을 보이며 사전학습된 모델이 데이터 부족 문제를 극복하는 데 핵심적인 청각 특징을 전이할 수 있음을 입증한다.

ABSTRACT

It has been established that Speech Affect Recognition for low resource languages is a difficult task. Here we present a Transfer learning based Speech Affect Recognition approach in which: we pre-train a model for high resource language affect recognition task and fine tune the parameters for low resource language using Deep Residual Network. Here we use standard four data sets to demonstrate that transfer learning can solve the problem of data scarcity for Affect Recognition task. We demonstrate that our approach is efficient by achieving 74.7 percent UAR on RAVDESS as source and Urdu data set as a target. Through an ablation study, we have identified that pre-trained model adds most of the features information, improvement in results and solves less data issues. Using this knowledge, we have also experimented on SAVEE and EMO-DB data set by setting Urdu as target language where only 400 utterances of data is available. This approach achieves high Unweighted Average Recall (UAR) when compared with existing algorithms.

연구 동기 및 목표

• 저자원 언어 음성 감정 인식(SAR)에서의 데이터 부족 문제, 특히 우르두어에 대해 해결책을 모색한다.
• 고자원 언어(영어, 독일어)에서의 전이학습이 저자원 환경에서의 SAR 성능 향상에 기여할 수 있는지 조사한다.
• 사전학습된 딥 리뷰지 네트워크가 다양한 언어 간에 분류 가능한 청각 특징을 효과적으로 전이할 수 있는지 평가한다.
• 전이학습이 최소한의 타겟 언어 데이터로도 높은 UAR 성능을 달성함으로써 대규모 레이블이 부여된 데이터셋에 대한 의존도를 줄일 수 있음을 입증한다.

제안 방법

• 모든 실험에 대해 백본 모델로 ResNet34 아키텍처를 사용하였으며, Librosa를 활용해 오디오 클립에서 추출한 멜스펙트로그램을 기반으로 학습하였다.
• 기준 모델은 고자원 데이터셋(RAVDESS는 영어용, Emo-DB는 독일어용)에서 사전학습되어 일반적인 음성 감정 특징을 학습한다.
• 전이학습을 위해 사전학습된 모델의 초기 레이어는 고정시키고, 새로운 분류 헤드를 추가하여 저자원 우르두어 데이터셋에서 미세조정한다.
• 모델은 감정 레이블(중립, 분노, 슬픔, 기쁨)을 예측하기 위해 소프트맥스 출력 레이어를 사용하여 엔드 투 엔드로 학습된다.
• 학습에는 배치 크기 25, 훈련/테스트 분할 비율 80/20, 고정 학습률을 사용한 100 에포크를 적용하여 실험 간 일관된 최적화를 확보한다.
• 클래스 불균형 문제를 고려하기 위해 평가 지표로 무게 없는 평균 재현율(UAR)을 주로 사용한다.

실험 결과

연구 질문

• RQ1 고자원 언어(영어, 독일어)에서의 전이학습이 저자원 우르두어에서 음성 감정 인식 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 고자원 언어에서의 사전학습이 저자원 SAR 환경에서 특징 학습과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 전이학습이 저자원 SAR에서 데이터 의존도를 어느 정도 줄일 수 있는가? 특히 400개의 발화만 존재할 경우에 대해 설명한다.
• RQ4 저자원 환경에서 사전학습된 모델이 무작위 또는 미세조정 초기화보다 성능 향상에 더 기여하는가?

주요 결과

• 제안된 전이학습 접근법은 RAVDESS에서 사전학습한 영어 모델에서 미세조정한 결과, 우르두어 데이터에서 74.7%의 UAR을 달성하였으며, 기준 모델보다 뚜렷한 향상을 보였다.
• 독일어(Emo-DB)에서 사전학습한 후 전이한 결과, 우르두어에서 87.5%의 UAR을 기록하여 강력한 다국어 간 전이 가능성(크로스-링구아 전이성)을 입증하였다.
• 아블레이션 연구를 통해 사전학습된 모델이 성능 향상에 가장 기여하며, 특히 저수준의 청각 특징을 효과적으로 포착하는 데 기여함을 확인하였다.
• 최소한의 타겟 데이터로도 사전학습된 모델을 사용한 전이학습이 초기화부터 학습한 경우보다 UAR을 10~15%p 향상시켰다.
• 특히 낮은 데이터 환경에서 기존 접근법보다 뛰어난 성능을 보이며, 이는 효율성과 확장성의 타당성을 입증한다.
• 결과는 사전학습된 모델이 화자 및 채널 변동성을 효과적으로 완화하여 다국어 환경에서의 강인성을 향상시킴을 보여준다.