[논문 리뷰] Self-Supervised Learning for Audio-Based Emotion Recognition

Peranut Nimitsurachat, Peter Washington|arXiv (Cornell University)|2023. 07. 23.

Music and Audio ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 CMU-MOSEI 데이터셋에서 추출한 음성 특징(74차원 COVAREP 임베딩)을 사용하여 음성 기반 정서 인식을 위한 자기지도 학습(SSL) 방법을 제안한다. 마스크된 타임스탬프 예측을 통해 레이블이 없는 데이터에서 사전 훈련하고, 작은 레이블된 데이터 세트에서 미세조정함으로써, 특히 행복, 슬픔, 분노와 같이 쉽게 식별 가능한 정서 유형에서 정서 분류 성능이 크게 향상됨을 보여준다. 이는 레이블이 부족할 경우 SSL이 가장 효과적임을 시사한다.

ABSTRACT

Emotion recognition models using audio input data can enable the development of interactive systems with applications in mental healthcare, marketing, gaming, and social media analysis. While the field of affective computing using audio data is rich, a major barrier to achieve consistently high-performance models is the paucity of available training labels. Self-supervised learning (SSL) is a family of methods which can learn despite a scarcity of supervised labels by predicting properties of the data itself. To understand the utility of self-supervised learning for audio-based emotion recognition, we have applied self-supervised learning pre-training to the classification of emotions from the CMU- MOSEI's acoustic modality. Unlike prior papers that have experimented with raw acoustic data, our technique has been applied to encoded acoustic data. Our model is first pretrained to uncover the randomly-masked timestamps of the acoustic data. The pre-trained model is then fine-tuned using a small sample of annotated data. The performance of the final model is then evaluated via several evaluation metrics against a baseline deep learning model with an identical backbone architecture. We find that self-supervised learning consistently improves the performance of the model across all metrics. This work shows the utility of self-supervised learning for affective computing, demonstrating that self-supervised learning is most useful when the number of training examples is small, and that the effect is most pronounced for emotions which are easier to classify such as happy, sad and anger. This work further demonstrates that self-supervised learning works when applied to embedded feature representations rather than the traditional approach of pre-training on the raw input space.

연구 동기 및 목표

• 정서 컴퓨팅 분야에서 주요 장애 요소인 레이블이 부족한 음성 기반 정서 인식 문제를 해결한다.
• 학습 데이터가 부족할 경우 자기지도 학습(SSL)이 성능 향상에 기여하는지 조사한다. 특히 음성 모odal리티에서의 적용을 중심으로 한다.
• 원시 음성 신호가 아닌, 사전 계산된 고차원 음성 임베딩(74D COVAREP 특징)에 대해 SSL의 효과를 탐구한다.
• 다양한 정서 유형과 레이블 데이터의 양에 따라 SSL의 성능 향상 정도를 정량화한다.
• 동일한 아키텍처를 가진 표준 베이스라인과 비교하여 사전 훈련의 영향을 고립적으로 분석한다.

제안 방법

• 74차원 특징 시퀀스에서 무작위 타임스탬프를 마스킹하고, 이를 재구성하도록 모델을 훈련시킴으로써, 음성 데이터에 대한 사전 훈련을 수행한다.
• 사전 훈련 및 미세조정 모두에 트랜스포머 기반 백본 아키텍처를 사용하여 베이스라인과 아키텍처 일致성을 확보한다.
• 표준 교차 엔트로피 또는 회귀 손실을 사용하여 CMU-MOSEI 데이터셋의 소규모 레이블된 서브셋에서 사전 훈련된 모델을 미세조정한다.
• 다양한 평가 지표를 사용하여 성능을 평가한다: 총 및 정서별 평균 절대 오차(MAE), 4분류 정확도, 정서별 정확도.
• 레이블 크기에 따라 여러 번의 반복(각 레이블 크기별로 3회)을 수행하여 SSL 성능 향상의 안정성과 일반화 능력을 평가한다.
• 동일한 아키텍처를 가진 사전 훈련되지 않은 베이스라인과 비교하여, 자기지도 사전 훈련의 영향을 고립적으로 분석한다.

Figure 1: Distribution of emotions in CMU-MOSEI

실험 결과

연구 질문

• RQ1 레이블이 없는 음성 특징에 대해 사전 훈련된 SSL이 표준 지도 학습 베이스라인보다 정서 인식 성능을 향상시키는가?
• RQ2 미세조정 단계에서 사용 가능한 레이블 데이터의 양에 따라 SSL의 성능 향상 정도는 어떻게 변하는가?
• RQ3 SSL의 이점이 특정 정서 유형에서 더 두드러지는가? 예를 들어, 행복, 슬픔, 분노와 같은 '더 쉽게 식별되는' 정서와, 놀람, 두려움과 같은 더 미묘한 정서 유형 간의 비교는 어떻게 되는가?
• RQ4 원시 음성 웨이브폼이 아닌, 임베딩된 특징 표현에 적용했을 때 자기지도 학습이 레이블이 없는 데이터를 효과적으로 활용할 수 있는가?
• RQ5 레이블 예제의 수가 증가함에 따라 사전 훈련된 모델의 성능이 베이스라인 모델에 수렴하는 방식은 어떠한가?

주요 결과

• 자기지도 학습은 전체 MAE, 정서별 MAE, 4분류 정확도, 정서별 정확도 등 모든 평가 지표에서 일관되게 성능 향상을 보이며, 특히 레이블 데이터가 부족할 경우 두드러진다.
• SSL의 성능 향상은 레이블 예제가 0~200개일 때 가장 두드러지며, 레이블 수가 증가함에 따라 점차 감소한다.
• 행복, 슬픔, 분노와 같은 '더 쉽게 식별되는' 정서에서 가장 뚜렷한 향상이 관찰되며, 놀람, 두려움과 같은 더 미묘한 정서의 경우 성능 향상 폭은 작다.
• 더 쉽게 식별되는 정서의 평균 절대 오차(MAE)는 SSL 사전 훈련으로 인해 크게 감소하지만, 더 미묘한 정서의 경우 사전 훈련 없이도 MAE가 상대적으로 낮게 유지됨(0.12~0.16)하여 성능의 상한선이 존재함을 시사한다.
• 레이블 예제의 수가 증가함에 따라 사전 훈련된 모델의 성능이 베이스라인 모델에 수렴함을 확인하여, SSL이 저자료 환경에서 가장 유용한 강력한 인덕티브 바이어스를 제공함을 입증한다.
• 원시 음성 신호가 아닌, 인코딩된 음성 특징(74D COVAREP 임베딩)에 대해 SSL을 적용하는 것이 효과적이며, 이는 메서드가 원시 입력 공간을 초월해 특징 수준의 사전 훈련으로 일반화됨을 보여주며, 정서 컴퓨팅 분야에서 새로운 특징 수준의 사전 훈련 가능성을 열어준다.

Figure 2: An overview of our proposed methodology for pre-training the deep learning model before transferring pre-trained model to the fine-tuning step