[논문 리뷰] Vesper: A Compact and Effective Pretrained Model for Speech Emotion Recognition

Weidong Chen, Xiaofen Xing외 2명|arXiv (Cornell University)|2023. 07. 20.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 감정 유도 마스킹과 계층적 자기지도 학습을 통해 WavLM을 개선한 컴act하고 효과적인 음성 감정 인식을 위한 사전 미세조정 모델인 Vesper를 제안한다. 단지 4개의 레이어를 가진 Vesper는 WavLM Base(12개 레이어)를 능가하며, Vesper-12는 IEMOCAP, MELD, CREMA-D 데이터셋에서 WavLM Large(24개 레이어)를 능가한다. 이는 더 작은 모델 크기로도 뛰어난 성능을 달성함을 보여준다.

ABSTRACT

This paper presents a paradigm that adapts general large-scale pretrained models (PTMs) to speech emotion recognition task. Although PTMs shed new light on artificial general intelligence, they are constructed with general tasks in mind, and thus, their efficacy for specific tasks can be further improved. Additionally, employing PTMs in practical applications can be challenging due to their considerable size. Above limitations spawn another research direction, namely, optimizing large-scale PTMs for specific tasks to generate task-specific PTMs that are both compact and effective. In this paper, we focus on the speech emotion recognition task and propose an improved emotion-specific pretrained encoder called Vesper. Vesper is pretrained on a speech dataset based on WavLM and takes into account emotional characteristics. To enhance sensitivity to emotional information, Vesper employs an emotion-guided masking strategy to identify the regions that need masking. Subsequently, Vesper employs hierarchical and cross-layer self-supervision to improve its ability to capture acoustic and semantic representations, both of which are crucial for emotion recognition. Experimental results on the IEMOCAP, MELD, and CREMA-D datasets demonstrate that Vesper with 4 layers outperforms WavLM Base with 12 layers, and the performance of Vesper with 12 layers surpasses that of WavLM Large with 24 layers.

연구 동기 및 목표

• 일반적인 사전 미세조정 모델(PTM)이 음성 감정 인식에서 너무 크고 감정 콘텐츠에 최적화되어 있지 않은 한계를 해결하기 위해.
• 모델 압축과 레이블 없는 적응 기법을 융합하여 작고 효과적인 작업 특화 PTM을 개발하기 위해.
• 사전 학습 중에 새로운 감정 유도 마스킹 전략을 도입하여 감정적 단서에 대한 민감도를 향상시키기 위해.
• 계층적이고 교차 레이어 자기지도 학습을 통합하여 청각적 및 의미적 특징을 더 잘 포착할 수 있도록 표현 학습을 향상시키기 위해.
• Vesper의 마지막 레이어 표현이 감정 인식에 충분하다는 것을 입증하여, 후행 작업 배포를 단순화하기 위해.

제안 방법

• Vesper는 일반적인 음성 표현을 활용하기 위해 사전 학습된 WavLM 가중치로 초기화된다.
• 감정 유도 마스킹 전략은 감정 콘텐츠를 포함할 가능성이 높은 고에너지 음성 영역을 식별하여, 이러한 영역에 집중적으로 마스킹함으로써 감정 민감도를 향상시킨다.
• 계층적 자기지도 학습은 얕은 레이어에서 청각적 특징 학습을 강화하고 깊은 레이어에서 의미적 특징 학습을 강화하기 위해 레이어 간에 적용된다.
• 교차 레이어 자기지도 학습은 네트워크의 다양한 깊이에서의 표현 간 일관성을 유도함으로써 특징 정제를 향상시킨다.
• 사전 학습 중에 레이블이 없는 데이터가 필요 없이, 표준 분류 헤드를 사용하여 후행 작업의 음성 감정 인식 작업에 대해 미세조정된다.
• 레이어 수를 줄임(예: 12개 또는 24개 대신 4개 또는 12개)을 통해 모델 압축이 이루어져 더 작고 효율적인 아키텍처가 된다.

실험 결과

연구 질문

• RQ1 작고 작업 특화된 사전 미세조정 모델이 음성 감정 인식에서 더 큰 일반 목적의 모델을 능가할 수 있는가?
• RQ2 감정 유도 마스킹 전략이 자기지도 사전 학습 중 감정 콘텐츠에 대한 모델의 민감도를 향상시키는가?
• RQ3 계층적 및 교차 레이어 자기지도 학습이 감정 인식에 핵심적인 청각적 및 의미적 표현 학습을 향상시키는가?
• RQ4 Vesper의 마지막 레이어 표현이 고성능 감정 인식에 충분한가? 이는 단순화된 배포를 가능하게 한다.
• RQ5 WavLM 변종에 비해 Vesper는 정확도를 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• 4개 레이어를 가진 Vesper는 IEMOCAP, MELD, CREMA-D 세 가지 데이터셋에서 모두 WavLM Base(12개 레이어)보다 뛰어난 성능을 보였다.
• Vesper-12는 모든 평가 지표에서 WavLM Large(24개 레이어)를 능가했으며, 감정 인식에 특화해 최적화된 작은 모델이 더 큰 모델을 능가할 수 있음을 보여주었다.
• IEMOCAP에서 Vesper-4는 모든 레이어를 사용할 경우 WavLM Base보다 F1 점수에서 6.2%에서 6.6% 향상되었고, 마지막 레이지만 사용할 경우 1.4%에서 1.9% 향상되었다.
• Vesper-12의 경우, 전체 SUPERB 설정 대비 마지막 레이어 표현만 사용할 때 0.2%에서 0.4%의 성능 향상이 있었으며, 이는 마지막 레이어 표현이 매우 정보가 많음을 시사한다.
• t-SNE 시각화 결과, Vesper-12는 행복, 슬픔, 분노, 중립의 네 가지 감정 표현을 잘 분리하여 클러스터링했으며, WavLM 모델과 달리 상당한 겹침이 없었다.
• 제거 실험 결과, 감정 유도 마스킹과 계층적/교차 레이어 자기지도 학습 구성 요소가 성능 향상에 기여한다는 게 확인되었다.