[논문 리뷰] General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework

Yucheng Zhao, Dacheng Yin외 5명|arXiv (Cornell University)|2021. 02. 03.

Speech Recognition and Synthesis참고 문헌 29인용 수 8

한 줄 요약

이 논문은 일반 목적의 음성 표현 학습을 위한 자기지도 학습 다중 시간 해상도 프레임워크인 MGF를 제안한다. 이는 세밀한 시간 스케일(예: 음소)에서의 생성적 학습과 더불어 거친 시간 스케일(예: 문장)에서의 분류적 학습을 통합한다. 연속적인 마스크된 음성 모델링을 위한 대비 손실을 사용하고 다양한 최종 작업에서 훈련함으로써, MGF는 최신 기술 수준(SOTA)의 성능을 달성한다. 특히 LibriSpeech에서 음소 정확도 73.4%와 화자 분류 정확도 100%를 기록하며 이전의 비지도 학습 방법을 능가한다.

ABSTRACT

This paper presents a self-supervised learning framework, named MGF, for general-purpose speech representation learning. In the design of MGF, speech hierarchy is taken into consideration. Specifically, we propose to use generative learning approaches to capture fine-grained information at small time scales and use discriminative learning approaches to distill coarse-grained or semantic information at large time scales. For phoneme-scale learning, we borrow idea from the masked language model but tailor it for the continuous speech signal by replacing classification loss with a contrastive loss. We corroborate our design by evaluating MGF representation on various downstream tasks, including phoneme classification, speaker classification, speech recognition, and emotion classification. Experiments verify that training at different time scales needs different training targets and loss functions, which in general complement each other and lead to a better performance.

연구 동기 및 목표

• 다양한 시간 스케일에서 계층적인 음성 구조를 포괄하는 일반 목적의 음성 표현 학습 프레임워크를 개발하는 것.
• 인간 레이블이 없는 조건에서 자기지도 학습을 활용하여 강건하고 이식 가능한 표현을 학습하는 도전 과제를 해결하는 것.
• 음성 표현 학습에서 서로 다른 학습 목표(생성적 대비 분류적)가 서로 다른 시간 해상도에서 최적임을 보여주는 것.
• 음소 분류, 화자 인식, 음성 인식, 정서 분류를 포함한 다양한 최종 작업에서 프레임워크를 평가하는 것.
• MGF로의 사전 훈련이 자원이 제한된 환경에서 데이터 효율성을 크게 향상시킴을 보여주는 것.

제안 방법

• MGF는 다중 시간 해상도를 통해 음성 표현을 모델링하기 위해 깊이 있는 양방향 트랜스포머 아키텍처를 사용한다.
• 세밀한(음소 수준) 학습을 위해 MGF는 분류 대신 대비 손실을 사용하는 연속적 마스크된 언어 모델(cMLM)을 적용하며, BERT 스타일의 마스킹을 연속적인 음성 신호에 적응시킨다.
• 거친(문장 수준) 학습을 위해 MGF는 의미적 및 화자 수준의 정보를 포착하기 위해 분류적 대비 학습을 적용한다.
• 이 프레임워크는 두 목표를 동시에 최적화하여 청각적 및 의미적 특징 간 상호보완적 학습을 가능하게 한다.
• 사전 훈련은 960시간의 LibriSpeech 데이터에서 수행되며, 최종 작업에서의 표현은 선형 프로빙을 통해 평가된다.
• 작업에 따라 모델은 미세조정 또는 고정되며, 아블레이션 연구를 통해 각 구성 요소의 기여도가 확인된다.

실험 결과

연구 질문

• RQ1 통합된 자기지도 학습 프레임워크가 음소, 단어, 문장과 같은 다양한 시간 해상도에서 음성 표현을 효과적으로 학습할 수 있는가?
• RQ2 생성적 및 분류적 학습 목표를 조합함으로써 다양한 최종 작업에서의 성능 향상이 이루어지는가?
• RQ3 wav2vec 및 x-vector와 같은 이전의 자기지도 모델과 비교해 MGF는 일반화 능력과 데이터 효율성 측면에서 어떻게 다른가?
• RQ4 MGF로의 사전 훈련이 레이블이 제한된 데이터로 구성된 자원이 제한된 환경에서 성능 향상에 얼마나 기여하는가?
• RQ5 MGF 표현은 음성 인식 없이도 일회성 화자 분류와 같은 제로샷 또는 소수의 샘플을 요구하는 적응 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 선형 평가 하에서 MGF는 LibriSpeech에서 음소 분류 정확도 73.4%를 달성하여 기존의 비지도 사전 훈련 방법을 능가한다.
• MGF는 화자 분류 작업에서 100%의 정확도를 기록했으며, 이는 이 벤치마크에서 처음으로 달성한 성과이다.
• 일회성 화자 분류에서 MGF는 x-vector 및 d-vector와 같은 기존의 방법을 능가하며, 강력한 소수 샘플 일반화 능력을 보여준다.
• WSJ 음성 인식 기준에서 MGF-960은 WER 4.87%를 기록했으며, 이는 작업에 특화된 wav2vec-large 모델과 유사하고 기준 모델보다도 뚜렷하게 뛰어나다.
• IEMOCAP 정서 분류 작업에서 MGF-Finetune는 73.1%의 정확도를 기록했으며, 오직 음성만을 사용하는 방법 중 최신 기술 수준을 설정한다.
• 라벨이 6분밖에 없는 자원이 제한된 환경에서 MGF는 음소 정확도 72.3%를 기록했으며, 이는 사전 훈련 없이 학습한 모델의 34.9%에 비해 뛰어난 데이터 효율성을 보여준다.