[논문 리뷰] Contrastive Unsupervised Learning for Speech Emotion Recognition

Mao Li, Bo Yang외 7명|arXiv (Cornell University)|2021. 02. 12.

Emotion and Mood Recognition참고 문헌 21인용 수 6

한 줄 요약

이 논문은 레이블이 부여된 대규모 데이터셋에 의존하지 않고도 음성 정서 인식(SER) 성능을 향상시키기 위해 대비적 비지도 표현 학습 기반의 대비 예측 코드(CPC)를 제안한다. 레이블이 없는 음성 데이터로 사전 훈련을 수행함으로써 모델은 강력하고 정서 관련 특징을 학습하게 되며, IEMOCAP 및 MSP-Podcast에서 상태의 성능을 크게 향상시켜 모든 정서 원소(활성도, 정서적 평형, 지배성)에 대해 최신 기준 성능을 달성한다.

ABSTRACT

Speech emotion recognition (SER) is a key technology to enable more natural human-machine communication. However, SER has long suffered from a lack of public large-scale labeled datasets. To circumvent this problem, we investigate how unsupervised representation learning on unlabeled datasets can benefit SER. We show that the contrastive predictive coding (CPC) method can learn salient representations from unlabeled datasets, which improves emotion recognition performance. In our experiments, this method achieved state-of-the-art concordance correlation coefficient (CCC) performance for all emotion primitives (activation, valence, and dominance) on IEMOCAP. Additionally, on the MSP- Podcast dataset, our method obtained considerable performance improvements compared to baselines.

연구 동기 및 목표

• 딥 러닝 기반 접근법의 주요 장애 요소인 음성 정서 인식(SER) 분야에서 대규모 레이블이 부여된 데이터셋의 부족을 해결한다.
• 큰 규모의 레이블이 없는 음성 데이터를 기반으로 한 비지도 사전 훈련이 SER 성능 향상에 기여하는지 조사한다.
• 대비 예측 코드(CPC)가 음성 내 정서 관련 표현을 학습하는 데 사전 훈련 방법으로서의 효과성을 평가한다.
• 레이블이 없는 정서 지도 없이도 비지도 표현이 분류 가능한 정서 패턴을 포착할 수 있는지 확인한다.
• CPC를 이용한 사전 훈련, 연합 훈련, 소규모 사전 훈련과 같은 다양한 사전 훈련 전략을 비교하여 일반화 능력과 강건성을 평가한다.

제안 방법

• 대규모 레이블이 없는 음성 데이터셋에서 음향 표현을 학습하기 위해 대비 예측 코드(CPC)를 적용하고, 원시 파형을 잠재 표현으로 매핑하기 위해 비선형 인코더를 사용한다.
• 과거의 잠재 상태로부터 맥락 표현을 생성하기 위해 단방향 GRU를 인과적 모델로 사용하며, 이를 바탕으로 미래 표현을 예측한다.
• 정보 NCE 손실을 사용하여 대비 N-방식 분류 문제로 학습 목표를 설정하며, 양성 샘플은 진짜 미래 표현이고, 음성 샘플은 다른 시퀀스에서 무작위로 샘플링한다.
• LibriSpeech의 10초 분량의 발화를 대상으로 CPC 모델을 훈련시키며, 각 맥락당 50개의 음성 샘플을 사용하고, 12단계 향후 표현을 예측한다.
• SER 작업을 위해 사전 훈련된 CPC 인코더를 2층의 피드포워드 네트워크와 8헤드 자기주의성 어텐션 레이어로 미세조정하며, 드롭아웃 및 가중치 감쇠 정규화를 적용한다.
• IEMOCAP 및 MSP-Podcast에서 5겹 교차 검증을 사용하여, 학습된 표현을 최종 SER 작업에 평가한다.

Fig. 1 : Visualization of the learned representations

실험 결과

연구 질문

• RQ1 CPC를 통한 대비적 비지도 표현 학습이 레이블이 없는 정서 데이터를 사용하지 않고도 표준 벤치마크에서 음성 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 CPC 기반 사전 훈련이 수작업 특징 및 연합 훈련 대비 일반화 능력과 성능 측면에서 어떻게 비교되는가?
• RQ3 정서 지도 없이도 사전 훈련된 CPC 모델의 임베딩 공간에서 정서 클러스터가 어느 정도 형성되는가?
• RQ4 다양하고 대규모의 음성 데이터(예: LibriSpeech)에서 사전 훈련을 수행하면, 더 작은 또는 작업 특화된 데이터에서의 사전 훈련보다 더 나은 SER 성능을 얻을 수 있는가?
• RQ5 사전 훈련 전략의 선택(예: preCPC 대비 miniCPC 대비 jointCPC)이 모델이 다양한 정서 차원에서 일반화할 수 있는 능력에 어떤 영향을 미치는가?

주요 결과

• preCPC 방법은 IEMOCAP에서 최신 기준 성능을 달성하여 평균 CCC가 0.731 ± 0.003을 기록했으며, 수작업 특징(Sup) 및 연합 훈련(jointCPC)을 포함한 모든 베이스라인을 초월했다.
• IEMOCAP에서 preCPC는 활성도에 대해 0.752 ± 0.014, 정서적 평형에 대해 0.752 ± 0.009, 지배성에 대해 0.691 ± 0.009의 CCC 스코어를 기록하여 도전적인 정서적 평형 차원에서도 뛰어난 성능을 보였다.
• MSP-Podcast 데이터셋에서 preCPC는 평균 CCC 0.571 ± 0.004를 기록했으며, 최고의 베이스라인인 miniCPC보다 0.022 높았으며, 정서적 평형(0.377 ± 0.008)과 지배성(0.639 ± 0.012)에서 뚜렷한 향상을 보였다.
• 소규모 데이터셋에서 사전 훈련된 miniCPC 버전조차도 jointCPC를 능가했으며, 이는 비지도 사전 훈련이 정서 인식에 있어 연합 최적화보다 더 뛰어난 일반화 능력을 가짐을 시사한다.
• 학습된 표현의 시각화 결과에서 슬픔과 분노와 같은 정서 유형이 임베딩 공간에서 뚜렷한 클러스터를 형성하는 것으로 나타났으며, 이는 정서 관련 구조가 명시적 지도 없이도 도출된다는 것을 확인한다.
• preCPC 모델는 jointCPC 방법을 크게 앞서며, 표현 학습과 정서 예측을 분리함으로써 더 우수한 특징 품질과 일반화 능력을 확보할 수 있음을 시사한다.