[논문 리뷰] Transfer learning from High-Resource to Low-Resource Language Improves Speech Affect Recognition Classification Accuracy

Sara Durrani, Muhammad Umair Arshad|arXiv (Cornell University)|2021. 03. 04.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 고자원 언어 데이터(IEMOCAP, EMOVO)를 활용하여 저자원 언어(우르두어, 이탈리아어)에서의 음성 정서 인식 성능을 향상시키는 전이 학습 접근법을 제안한다. 각각 69.32%와 68.52%의 UAR 점수를 기록하였다. 사전에 훈련된 인코더-디코더 모델에 주어진 언어 데이터를 사용하여 피니팅함으로써, 기준 모델 및 크로스코퍼 설정 대비 성능을 크게 향상시켰으며, 성공적인 전이를 위해 인코더 및 어텐션 파rameter의 전이가 필수적임을 입증하였다.

ABSTRACT

Speech Affect Recognition is a problem of extracting emotional affects from audio data. Low resource languages corpora are rear and affect recognition is a difficult task in cross-corpus settings. We present an approach in which the model is trained on high resource language and fine-tune to recognize affects in low resource language. We train the model in same corpus setting on SAVEE, EMOVO, Urdu, and IEMOCAP by achieving baseline accuracy of 60.45, 68.05, 80.34, and 56.58 percent respectively. For capturing the diversity of affects in languages cross-corpus evaluations are discussed in detail. We find that accuracy improves by adding the domain target data into the training data. Finally, we show that performance is improved for low resource language speech affect recognition by achieving the UAR OF 69.32 and 68.2 for Urdu and Italian speech affects.

연구 동기 및 목표

• 저자원 언어에서 음성 정서 인식을 위한 애너테이션된 데이터가 부족한 문제를 해결하기 위해.
• 고자원 언어에서 저자원 언어로의 전이 학습이 분류 정확도를 향상시키는지 조사하기 위해.
• 다양한 코퍼스에서의 공동 훈련이 다국어 정서 인식에 대한 모델 일반화에 미치는 영향을 평가하기 위해.
• 성공적인 전이에 있어 어떤 모델 구성 요소(인코더, 디코더, 어텐션)가 가장 중요할지 규명하기 위해.

제안 방법

• 순차적에서 순차적 인코더-디코더 모델에 어텐션 메커니즘을 적용하여 엔드 투 엔드 음성 정서 인식을 수행한다.
• 일반적인 정서 패턴을 학습하기 위해 고자원 코퍼스(IEMOCAP 및 EMOVO)에서 사전 훈련을 수행한다.
• 저자원 언어 데이터(우르두어 및 이탈리아어)를 사전 훈련된 모델을 사용하여 피니팅하며, 훈련 중에 도메인 특화 데이터를 추가한다.
• 전이 학습은 원본 언어 모델의 인코더 및 어텐션 가중치를 초기화 값으로 사용하여 타겟 언어 모델을 초기화함으로써 적용된다.
• 일반화 성능 평가를 위해 삼중 교차 검증을 사용한다.
• 클래스 불균형이 있는 정서적 음성 데이터셋을 다루기 위해 주요 평가 지표로 무게 없는 평균 재현율(UAR)을 사용한다.

실험 결과

연구 질문

• RQ1 고자원 언어에서 저자원 언어로의 전이 학습이 음성 정서 인식 정확도를 향상시킬 수 있는가?
• RQ2 다양한 코퍼스에서의 공동 훈련이 다양한 언어 및 정서 클래스 간의 모델 일반화에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 모델의 어떤 구성 요소(인코더, 디코더, 어텐션)가 저자원 환경에서 전이에 가장 효과적인가?
• RQ4 피니팅 중에 도메인 특화 타겟 언어 데이터를 추가하면 성능 향상이 이루어지는가?

주요 결과

• 전이 학습 접근법은 우르두어에서 69.32%, 이탈리아어에서 68.52%의 UAR를 기록하여 기준 모델 및 크로스코퍼 설정 대비 유의미하게 높은 성능을 보였다.
• IEMOCAP에서 훈련하고 우르두어에서 피니팅한 모델은 우르두어에서 69.32%의 UAR를 기록하여 저자원 언어로의 효과적인 지식 전이를 입증하였다.
• 훈련 중에 도메인 특화 타겟 언어 데이터를 추가함으로써 분류 정확도가 향상되었으며, 이는 도메인 내 피니팅의 중요성을 강조한다.
• 인코더 및 어텐션 파rameter의 전이가 성능 향상에 필수적이었으며, 디코더 파rameter만 전이할 경우 유의미한 향상이 없었다.
• 특히 고자원 언어 코퍼스에서 훈련하고 저자원 언어에서 테스트하는 경우, 기존 접근법보다 우수한 성능을 보였다.
• 결과적으로, 저자원 언어인 우르두어 및 이탈리아어가 일부 전이 설정에서 고자원 영어보다 더 높은 정확도를 달성함으로써, 전이 학습이 데이터 부족 문제를 완화할 잠재력을 보여주었다.