[논문 리뷰] EmoNet: A Transfer Learning Framework for Multi-Corpus Speech Emotion Recognition

Maurice Gerczuk, Shahin Amiriparian외 2명|arXiv (Cornell University)|2021. 03. 10.

Speech and Audio Processing인용 수 7

한 줄 요약

EmoNet는 26개의 다양한 SER 데이터셋에서 온 총 84,181개의 오디오 샘플을 포함하는 대규모 통합 코퍼스인 EmoSet를 기반으로, 잔차 어댑터를 사용한 파rameter 효율적인 전이 학습 프레임워크를 제안한다. 주된 ResNet 백본을 공유하면서 어댑터 모듈만 미세조정함으로써, 단일 데이터셋 모델의 3.5배의 파라미터만을 사용하여 26개 데이터셋 중 21개에서 성능 향상을 달성하였으며, 이 중 10개는 통계적으로 유의미하다.

ABSTRACT

In this manuscript, the topic of multi-corpus Speech Emotion Recognition (SER) is approached from a deep transfer learning perspective. A large corpus of emotional speech data, EmoSet, is assembled from a number of existing SER corpora. In total, EmoSet contains 84181 audio recordings from 26 SER corpora with a total duration of over 65 hours. The corpus is then utilised to create a novel framework for multi-corpus speech emotion recognition, namely EmoNet. A combination of a deep ResNet architecture and residual adapters is transferred from the field of multi-domain visual recognition to multi-corpus SER on EmoSet. Compared against two suitable baselines and more traditional training and transfer settings for the ResNet, the residual adapter approach enables parameter efficient training of a multi-domain SER model on all 26 corpora. A shared model with only $3.5$ times the number of parameters of a model trained on a single database leads to increased performance for 21 of the 26 corpora in EmoSet. Measured by McNemar's test, these improvements are further significant for ten datasets at $p<0.05$ while there are just two corpora that see only significant decreases across the residual adapter transfer experiments. Finally, we make our EmoNet framework publicly available for users and developers at https://github.com/EIHW/EmoNet. EmoNet provides an extensive command line interface which is comprehensively documented and can be used in a variety of multi-corpus transfer learning settings.

연구 동기 및 목표

• 26개의 기존 코퍼스를 하나의 대규모 코퍼스인 EmoSet로 통합하여, 제한적이고 분산된 음성 정서 인식(SER) 데이터셋 문제를 해결한다.
• 각 코퍼스별로 별도의 모델을 훈련하는 데서 비효율적인 문제를 해결하기 위해, 다양한 SER 코퍼스 간에 파라미터 효율적인 전이 학습을 가능하게 한다.
• 다양한 정서적 음성 데이터에 대해 일반화 가능한 딥 러닝 프레임워크를 개발하면서 계산 및 파라미터 오버헤드를 최소화한다.
• 공개된 명령줄 인터페이스를 통해 연구자들이 다양한 다중 코퍼스 및 다중 도메인 음성 분석 작업에 쉽게 이 프레임워크를 적용하고 확장할 수 있도록 한다.

제안 방법

• 26개의 기존 SER 코퍼스에서 온 총 84,181개의 오디오 레코딩을 포함하는 통합 코퍼스인 EmoSet를 구축하며, 총 65시간 이상의 음성 데이터를 확보한다.
• 멀티도메인 시각 인식에서 유래한 잔차 어댑터 기법을 멜스펙트로그램 입력에 적용하여 음성 정서 인식 작업에 적합하게 조정한다.
• 특정 레이어에 경량 잔차 어댑터 모듈을 삽입한 공유된 깊은 ResNet 백본을 훈련함으로써, 각 코퍼스별로 파라미터 효율적인 미세조정을 가능하게 한다.
• 모든 26개의 코퍼스를 동시에 훈련하기 위해 라운드로빈 샘플링 전략을 사용하며, 각 배치는 순환적으로 다른 코퍼스에서 추출된다.
• 어댑터 기반 전이 학습 접근법을 두 가지 베이스라인과 비교한다: 각 코퍼스에서부터 모델을 재학습하는 것과 분류기 헤드만 미세조정하는 것.
• 표준 SER 평가 지표를 사용하여 성능을 평가하며, 통계적 유의성은 McNemar의 검정을 통해 평가한다.

실험 결과

연구 질문

• RQ1 26개의 다양한 소규모 SER 코퍼스 간에 지식을 효과적으로 전이할 수 있는 통합 딥 러닝 프레임워크는 성능 향상에 기여할 수 있는가?
• RQ2 잔차 어댑터의 사용은 전체 미세조정 대비 성능을 유지하거나 향상시키면서도 파라미터 효율적인 전이 학습을 가능하게 하는가?
• RQ3 모든 26개 코퍼스에 대해 훈련된 공유 모델의 성능은 각 데이터셋에 대해 별도로 훈련된 모델과 비교해 볼 때 일반화 능력과 통계적 유의성 측면에서 어떻게 다른가?
• RQ4 특정 코퍼스에서는 다중 코퍼스 접근법이 성능 저하를 초래하는가? 만약 그렇다면, 이러한 현상의 원인은 무엇인가?

주요 결과

• EmoNet 프레임워크는 잔차 어댑터를 사용해 전체 EmoSet에서 훈련한 결과, 단일 데이터셋에서부터 재학습하거나 분류기 헤드만 미세조정하는 것과 비교해 26개 코퍼스 중 21개에서 성능 향상을 달성하였다.
• 향상된 21개 코퍼스 중 10개는 McNemar의 검정에 의해 유의미한 수준(p < 0.05)에서 성능 향상이 확인되었다.
• 단 두 개의 코퍼스인 eNTERFACE와 MES만에서 어댑터 기반 접근법이 더 나쁜 성능을 보였으며, eNTERFACE는 단일 데이터셋에서의 뛰어난 성능가로 인해 이러한 결과가 유추된다.
• 어댑터 기반 방법은 단일 데이터셋 모델의 3.5배의 파라미터만을 요구하지만, 많은 경우 전체 미세조정(약 10배의 추가 파라미터 필요)보다도 뛰어난 성능를 보였다.
• 이 프레임워크는 제한된 데이터를 가진 각 코퍼스 간에도 잔차 어댑터를 활용한 다중 코퍼스 훈련이 다양한 정서적 음성 데이터 간 효과적인 지식 전이를 가능하게 함을 보여주었다.
• 공개된 EmoNet 프레임워크는 포괄적인 명령줄 인터페이스를 포함하고 있어, 다중 코퍼스 음성 분석 작업에 널리 재사용 및 확장이 가능하다.