[논문 리뷰] Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement

Aswin Sivaraman, Minje Kim|arXiv (Cornell University)|2020. 11. 06.

Speech and Audio Processing참고 문헌 27인용 수 8

한 줄 요약

이 논문은 개인화된 음성 강화를 위한 말하기자기 특징을 학습하기 위해 노이즈가 섞인 음성 데이터를 가짜 타겟으로 사용하는 대비형(self-supervised) 학습 방법을 제안한다. 단지 3초의 청소음성과 모델 파라미터의 15%만으로도 최신 기술 수준의 성능을 달성하며, 소수의 샘플 설정에서 말하기자기 및 비대비형(self-supervised) 기반 모델들을 능가한다.

ABSTRACT

This work explores how self-supervised learning can be universally used to discover speaker-specific features towards enabling personalized speech enhancement models. We specifically address the few-shot learning scenario where access to cleaning recordings of a test-time speaker is limited to a few seconds, but noisy recordings of the speaker are abundant. We develop a simple contrastive learning procedure which treats the abundant noisy data as makeshift training targets through pairwise noise injection: the model is pretrained to maximize agreement between pairs of differently deformed identical utterances and to minimize agreement between pairs of similarly deformed nonidentical utterances. Our experiments compare the proposed pretraining approach with two baseline alternatives: speaker-agnostic fully-supervised pretraining, and speaker-specific self-supervised pretraining without contrastive loss terms. Of all three approaches, the proposed method using contrastive mixtures is found to be most robust to model compression (using 85% fewer parameters) and reduced clean speech (requiring only 3 seconds).

연구 동기 및 목표

• 목표 말하기자에 대해 청소음성이 몇 초 밖에 없을 정도의 낮은 데이터 환경에서 개인화된 음성 강화를 가능하게 하기 위해.
• 풍부한 노이즈가 섞인 음성 데이터를 가짜 지도 정보로 활용하여 소수의 샘플 학습에서 말하기자기 음성 강화의 한계를 극복하기 위해.
• 노이즈가 섞인 데이터에 대비 학습 목표를 도입하여 모델 압축과 제한된 청소음성 데이터 환경에서의 모델 강인성(robustness)을 향상시키기 위해.
• 대비 학습을 혼합된 노이즈가 섞인 문장에 적용했을 때, 명시적인 청소음성 지도 없이도 말하기자기 표현을 효과적으로 발견할 수 있는지 탐색하기 위해.

제안 방법

• 이 방법은 대비 학습 프레임워크를 사용하며, 양성 쌍은 동일한 문장에 대해 다른 노이즈 변형을, 부정성 쌍은 다른 말하기자에게 적용된 유사한 변형을 사용한다.
• 대비 손실 함수를 사용하여 동일한 말하기자에 속하는 양성 쌍 간의 유사도를 최대화하고, 다른 말하기자에 속한 부정성 쌍 간의 유사도를 최소화하도록 모델을 사전 훈련한다.
• 사전 훈련 과정에서 청소음성 기반 참조 기록이 필요 없이, 오직 노이즈가 섞인 음성 데이터만을 가짜 타겟으로 사용한다.
• 동일한 말하기자 음성에 적용된 다양한 노이즈 패턴을 대비하여 말하기자기 표현을 학습한다.
• 모델 압축과 자원이 제한된 환경에서도 강인하도록 설계되었으며, 미세조정을 위해 단지 3초의 청소음성 데이터만 필요로 한다.

실험 결과

연구 질문

• RQ1 노이즈가 섞인 음성 데이터가 자기 말하기자 특징을 학습하는 자기 지도 학습에서 효과적으로 가짜 타겟으로 사용될 수 있는가?
• RQ2 소수의 샘플 설정에서 혼합된 노이즈 문장에 대해 대비 학습을 적용한 결과가 말하기자기 또는 비대비형 자기 지도 학습 사전 훈련과 비교해 어떻게 성능을 냈는가?
• RQ3 제안된 방법이 모델 압축과 제한된 청소음성 데이터 조건에서도 얼마나 높은 성능을 유지할 수 있는가?
• RQ4 대비 목표가 개인화된 음성 강화에서 일반화 능력과 강인성을 향상시키는 데 기여하는가?

주요 결과

• 제안된 대비 혼합 방법은 모델 압축에 대한 강인성 측면에서 말하기자기 완전 지도 학습 및 대비 손실 없이 말하기자기 자기 지도 학습을 모두 능가한다.
• 단지 3초의 청소음성만으로도 뛰어난 성능을 달성하여 강력한 소수 샘플 일반화 능력을 보여준다.
• 원래 파라미터 수의 15%로 줄여도 높은 성능을 유지하므로, 압축에 대한 강인성이 매우 뛰어나다.
• 대비 목표가 말하기자기 표현과 노이즈 입력 패턴 간의 정렬을 크게 향상시켜 개인화 성능을 향상시킨다.