[논문 리뷰] Exploring Wav2vec 2.0 fine-tuning for improved speech emotion recognition

Liwei Chen, Alexander I. Rudnicky|arXiv (Cornell University)|2021. 10. 12.

Speech Recognition and Synthesis참고 문헌 28인용 수 14

한 줄 요약

이 논문은 음성 정서 인식(SER)을 향상시키기 위해 wav2vec 2.0에 대한 새로운 피닝튜닝 방법인 P-TAPT를 제안한다. 감정 인지 전처리 목표를 활용하여, 문맥 기반 감정 상태를 예측하는 임베딩을 학습한다. P-TAPT는 IEMOCAP 데이터셋에서 최신 기술 대비 절대적인 정확도 7.4% 향상(74.3% UA)을 달성하며, 특히 자원이 제한된 조건에서 뛰어난 성능을 보인다.

ABSTRACT

While Wav2Vec 2.0 has been proposed for speech recognition (ASR), it can also be used for speech emotion recognition (SER); its performance can be significantly improved using different fine-tuning strategies. Two baseline methods, vanilla fine-tuning (V-FT) and task adaptive pretraining (TAPT) are first presented. We show that V-FT is able to outperform state-of-the-art models on the IEMOCAP dataset. TAPT, an existing NLP fine-tuning strategy, further improves the performance on SER. We also introduce a novel fine-tuning method termed P-TAPT, which modifies the TAPT objective to learn contextualized emotion representations. Experiments show that P-TAPT performs better than TAPT, especially under low-resource settings. Compared to prior works in this literature, our top-line system achieved a 7.4\% absolute improvement in unweighted accuracy (UA) over the state-of-the-art performance on IEMOCAP. Our code is publicly available.

연구 동기 및 목표

• 사전 훈련 데이터(ASR)와 SER 데이터 사이의 도메인 이탈 문제를 해결함으로써 사전 훈련 모델의 성능을 제한하는 요소를 극복하고자 한다.
• wav2vec 2.0의 단순 피닝튜닝 또는 특징 추출을 넘어서 음성 정서 인식(SER) 성능을 향상시키기 위해 피닝튜닝을 수행하고자 한다.
• 자원 효율적이고 감정 인지 기반의 사전 훈련 목표를 개발하여, 특히 자원이 제한된 환경에서 모델의 일반화 능력을 향상시키고자 한다.
• 사용자 적응형 사전 훈련(TAPT) 및 그 변종인 P-TAPT가 기존의 단순 피닝튜닝 및 최신 기술 대비 우월한 성능을 내는지 조사하고자 한다.
• P-TAPT가 자연적으로 유도된 감정 표현(예: IEMOCAP에서의 데이터)에서 언어적 및 감정적 콘텐츠를 얼마나 잘 포착하는지 평가하고자 한다.

제안 방법

• wav2vec 2.0의 최종 레이어 위에 전역 평균 풀링 레이어와 분류기 헤드를 추가하여 문장 수준의 SER를 위한 단순 피닝튜닝(V-FT)을 제안한다.
• 목표 SER 데이터셋에서의 사전 훈련을 계속함으로써 도메인 이탈을 줄이고, 사전 훈련과 피닝튜닝 데이터 간의 도메인 불일치를 완화하기 위해 사용자 적응형 사전 훈련(TAPT)을 도입한다.
• P-TAPT는 TAPT의 목표를 수정하여 군집화된 wav2vec 2.0 표현에서 추론된 가짜 레이블 기반의 감정 상태를 예측하도록 설계된 새로운 방법으로, 감정 인지 자기 지도 학습을 가능하게 한다.
• wav2vec 2.0와 감정 상태 추정 모듈 간의 시간 해상도를 맞추기 위해 스트라이드 2를 사용하는 별도의 CNN을 활용한다.
• wav2vec 2.0의 문맥 기반 표현에서 군집 기반 방법을 사용해 감정 상태에 대한 가짜 레이블을 생성하고, 이를 대비 목표를 통해 모델을 훈련시킨다.
• P-TAPT 목표를 타겟 SER 데이터셋에서의 사전 훈련 동안 적용함으로써, 음성과 감정 양쪽에 민감한 표현을 학습할 수 있도록 한다.

Fig. 1 : System overview of our methods. (a) Emotion state estimation phase of P-TAPT. An additional CNN with stride 2 is used to align the time steps between wav2vec and wav2vec 2.0. The output of cluster assignments will be used as pseudo-labels for the P-TAPT objective. (b) Model architecture and

실험 결과

연구 질문

• RQ1 wav2vec 2.0의 단순 피닝튜닝이 IEMOCAP 데이터셋에서 기존 최신 기술 대비 음성 정서 인식 성능을 뛰어나게 할 수 있는가?
• RQ2 사용자 적응형 사전 훈련(TAPT)이 사전 훈련 데이터와 피닝튜닝 데이터 간의 도메인 이탈이 존재할 경우 wav2vec 2.0의 SER 성능을 뚜렷이 향상시킬 수 있는가?
• RQ3 P-TAPT에서 마스크된 오디오 프레임 대신 감정 상태를 예측하는 수정된 사전 훈련 목표가, 자원이 제한된 SER 환경에서 더 나은 성능과 자원 효율성을 달성할 수 있는가?
• RQ4 P-TAPT의 성능이 다양한 데이터 크기, 특히 자원이 제한된 상황에서 TAPT 및 V-FT와 비교해 어떻게 나타나는가?
• RQ5 데이터 내 언어적 콘텐츠(예: 문장 기반 감정)가 모델 성능에 미치는 영향은 어느 정도이며, P-TAPT가 TAPT보다 이러한 패턴을 더 잘 포착할 수 있는가?

주요 결과

• wav2vec 2.0의 단순 피닝튜닝(V-FT)은 IEMOCAP에서 69.9%의 무작위 정확도(UA)를 달성하여, 이전의 최신 기술 대비 뛰어난 성능을 보였다.
• 사용자 적응형 사전 훈련(TAPT)은 IEMOCAP에서 73.5%의 UA로 성능 향상을 이룩하였으며, 도메인 적응이 도메인 이탈을 줄이는 데 효과적임을 입증하였다.
• 제안된 P-TAPT 방법은 IEMOCAP에서 74.3%의 UA를 달성하여 이전 최신 기술 대비 7.4%의 절대적 향상을 이룩하였다.
• P-TAPT는 뛰어난 자원 효율성을 보였다: 0.5시간의 훈련 데이터에서 P-TAPT의 V-FT 대비 향상 비율 대비 TAPT의 V-FT 대비 향상 비율의 비율이 65.0%였으며, 이는 자원이 제한된 환경에서 더 큰 이점을 제공함을 의미한다.
• SAVEE 데이터셋에서는 TAPT가 V-FT보다 8.8% 높은 UA(70.9%)를 기록하였으며, P-TAPT는 이보다 더 높은 성능을 달성하였다. 다만, 강한 언어-감정 상관관계로 인해 TAPT 대비 향상 폭은 더 작았다.
• LibriSpeech에서의 사전 훈련 손실(32.04)은 IEMOCAP에서의 손실(55.42)보다 유의미하게 낮아, 도메인 이탈이 존재함을 확인하였으며, 이는 TAPT 및 P-TAPT의 필요성을 뒷받침한다.