[논문 리뷰] Self-supervised Learning for Speech Enhancement

Yu-Che Wang, Shrikant Venkataramani외 1명|arXiv (Cornell University)|2020. 06. 18.

Speech and Audio Processing참고 문헌 15인용 수 20

한 줄 요약

이 논문은 쌍체의 청소된-노이지 레이블이 필요 없이 청소된 음성과 노이지 혼합물에서 훈련하는 단일 채널 음성 강화를 위한 자기지도 학습 프레임워크를 제안한다. 청소된 음성과 노이지 혼합물에서 훈련된 오토에인코더 간에 잠재 표현을 공유함으로써, 모델은 자율적으로 노이지 입력을 청소된 출력으로 매핑하는 것을 학습한다. 이는 다양한 노이지 환경, 특히 반향이 있는 방과 거리 노이지에서 스펙트럼 감소 기법보다 일관된 성능 향상을 이룬다.

ABSTRACT

Supervised learning for single-channel speech enhancement requires carefully labeled training examples where the noisy mixture is input into the network and the network is trained to produce an output close to the ideal target. To relax the conditions on the training data, we consider the task of training speech enhancement networks in a self-supervised manner. We first use a limited training set of clean speech sounds and learn a latent representation by autoencoding on their magnitude spectrograms. We then autoencode on speech mixtures recorded in noisy environments and train the resulting autoencoder to share a latent representation with the clean examples. We show that using this training schema, we can now map noisy speech to its clean version using a network that is autonomously trainable without requiring labeled training examples or human intervention.

연구 동기 및 목표

• 감독 학습 기반 음성 강화에서 요구하는 고비용의 쌍체 청소된-노이지 훈련 데이터의 한계를 해결하기 위해.
• 실제 노이지 환경에서 인간이 주석을 달지 않은 목표 없이도 음성 강화 모델을 자율적으로 훈련할 수 있도록 하기 위해.
• 쌍체가 아닌 청소된 음성과 노이지 혼합물 데이터를 사용하여 음성 정화를 위한 자기지도 표현 학습 탐구하기 위해.
• 재훈련 없이도 또는 청소된 테스트 혼합물에 접근하지 않아도 되는 조건에서의 일반화를 가능하게 하는 방법 개발하기 위해.
• 반향이 있는 환경과 비정상적인 거리 노이지와 같은 다양한 노이즈 유형이 포함된 실제 데이터셋에서 접근법 평가하기 위해.

제안 방법

• 청소된 음성의 세기 스펙트로그램에서 훈련된 청소된 음성 오토에인코더(CAE)를 사용해 공유 잠재 표현을 학습한다.
• 동일한 잠재 공간을 사용하여 노이지 혼합물에서 훈련된 혼합물 오토에인코더(MAE)를 훈련함으로써 도메인 간 매핑을 가능하게 한다.
• 마스크된 입력 패치에서 스펙트로그램을 재구성하기 위해 1차원 역전치 컨볼루션과 소프트플러스 활성화를 사용한 마스크된 오토에인코더(MAE) 아키텍처를 적용한다.
• 훈련 안정성 향상과 표현 품질 향상을 위해 EQ 정규화 및 배치 정규화 레이어를 적용한다.
• 훈련 중에 진짜 청소된 타겟이 필요 없이, 추론 과정에서 공유된 잠재 공간을 활용해 노이지 입력을 청소된 출력으로 매핑한다.
• 기준선으로 스펙트럼 감소를 사용하고, 청각적 품질과 이해도를 평가하기 위해 PESQ, CSIG, CBAK, COVL 지표를 사용한다.

실험 결과

연구 질문

• RQ1 자기지도 학습이 쌍체의 청소된-노이지 훈련 데이터 없이도 음성 강화를 가능하게 할 수 있는가?
• RQ2 모델은 새로운 테스트 조건과 새로운 화자 정체성에 얼마나 잘 일반화되는가?
• RQ3 훈련 중 순수 노이즈 비율을 높이면 다양한 노이즈 유형에 대한 내성 강도가 향상되는가?
• RQ4 공유된 표현 학습을 통해 모델이 암묵적으로 반향 제거를 수행할 수 있는가?
• RQ5 비정상적인 노이지 환경에서 신호 대 노이즈 비율(SNR)에 따라 성능은 어떻게 변하는가?

주요 결과

• 제안된 자기지도 학습 음성 강화(SSE) 모델은 DAPS 데이터셋에서 스펙트럼 감소 기법보다 모든 지표에서 일관되게 뛰어난 성능을 보이며, PESQ, CSIG, CBAK, COVL에서 향상된 결과를 얻었다.
• 훈련 중 순수 노이즈 기록의 비율이 높을수록 성능 향상이 나타나, 다양한 노이즈 유형에 대한 일반화 능력 향상이 확인되었다.
• BBC 사운드 효과 데이터셋에서 고SNR 조건(10 dB)에서 상당한 성능 향상을 기록했으며, 비정상적인 거리 노이지에서 더 큰 향상이 관찰되었다.
• 비공식 청취 테스트 결과 모델이 반향을 줄이는 것으로 나타나, 반향 제거 작업에 응용 가능성이 있음을 시사한다.
• 훈련 세트와 테스트 세트가 화자와 스크립트 모두에서 서로 겹치지 않기 때문에, 새로운 화자와 문장에 대해서도 일반화가 가능하다.
• 공유된 잠재 공간 덕분에, 레이블이 없는 예시나 인간의 간섭 없이도 노이지 혼합물에서 청소된 음성으로의 효과적인 매핑이 가능하다.