[논문 리뷰] Self-Supervised Deep Learning-Based Speech Denoising

Nasim Alamdari, Arian Azarang외 1명|arXiv (Cornell University)|2019. 04. 26.

Speech and Audio Processing참고 문헌 34인용 수 8

한 줄 요약

이 논문은 훈련 중에 청소된 음성 데이터가 필요 없도록, 노이즈가 있는 음성을 다른 노이즈가 있는 버전으로 매핑하도록 훈련하는 완전 컨volution 신경망을 사용하는 자기지도 학습 기반의 음성 노이즈 제거 방법을 제안한다. 이 방법은 세 개의 음성 및 한 개의 노이즈 데이터셋에서 완전 지도 학습 기반의 베이스라인을 능가하며, 청소된 데이터가 가용하지만 않는 실제 현장 조건에서도 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a self-supervised deep neural network solution to speech denoising by easing the requirement that clean speech signals need to be available for network training. This self-supervised approach is based on training a Fully Convolutional Neutral Network to map a noisy speech signal to another noisy version of the speech signal. To show the effectiveness of the developed approach, four commonly used objective performance measures are used to compare the self-supervised approach to the commonly used fully-supervised approach in which it is assumed that clean speech signals are available for training. The measures are examined for three public domain datasets of speech signals and one public domain dataset of noise signals. The results obtained indicate the self-supervised approach outperforms the fully-supervised approach. This solution is more suited for field deployment compared to the conventional deep learning-based solutions since under realistic audio conditions the only signals which are available for training are noisy speech signals and not clean speech signals.

연구 동기 및 목표

• 실제 현장 환경에서는 흔히 확보되지 않는 청소된 음성 데이터가 필요 없는 음성 노이즈 제거 모델을 훈련하는 데 도전하는 것.
• 청소된 데이터 쌍에 의존하지 않고, 노이즈가 있는 입력을 다른 노이즈가 있는 버전으로 매핑함으로써 음성 노이즈 제거 기능을 학습하는 자기지도 학습 기반의 딥 신경망을 개발하는 것.
• 표준 객관적 평가 지표를 사용하여 다수의 공개 데이터셋에서 자기지도 학습 기반 접근법과 완전 지도 학습 기반 방법의 성능을 평가하는 것.
• 오직 노이즈가 있는 음성 신호만을 이용해 훈련할 수 있는 조건에서, 제안된 방법의 실용적 타당성을 입증하는 것.

제안 방법

• 완전 컨volution 신경망이 자기지도 학습 방식으로 입력 노이즈 음성 신호의 변형된 버전을 예측하도록 훈련된다.
• 훈련 목표는 대조 학습 기반으로, 네트워크가 입력 신호의 노이즈가 있는 변형을 재구성하거나 예측하도록 유도함으로써 강력한 특징 학습을 장려한다.
• 모델은 훈련 중에 청소된 음성 샘플의 쌍이 필요 없이 오직 노이즈가 있는 음성 데이터만으로 훈련된다.
• 성능 평가는 세 개의 공개 음성 데이터셋과 한 개의 노이즈 데이터셋에 적용된 네 가지 표준 객관적 지표(PESQ, STOI, SNR, SI-SDR)를 사용한다.
• 자기지도 학습 모델은 청소된 음성과 노이즈가 있는 음성 쌍을 사용해 훈련된 완전 지도 학습 기반 베이스라인과 직접 비교된다.

실험 결과

연구 질문

• RQ1 청소된 음성 데이터가 훈련 중에 사용되지 않는 조건에서, 자기지도 학습 기반 딥 러닝 모델이 완전 지도 학습 기반 모델보다 더 나은 음성 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 자기지도 학습 접근법은 다양한 실제 음성 및 노이즈 데이터셋에서 지도 학습 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ3 자기지도 학습은 음성 노이즈 제거 응용 분야에서 청소된 데이터 쌍에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 오직 노이즈가 있는 오디오만을 이용할 수 있는 실세계 적용에 있어, 자기지도 학습 접근법이 더 적합한가?

주요 결과

• 제안된 자기지도 학습 기반 접근법은 테스트된 데이터셋에서 모든 네 가지 객관적 성능 지표(PESQ, STOI, SNR, SI-SDR)에서 완전 지도 학습 기반 베이스라인을 능가한다.
• PESQ, STOI, SNR, SI-SDR 측면에서 뛰어난 결과를 달성하여 음성 품질 향상과 말의 이해도 향상을 시사한다.
• 세 개의 공개 음성 데이터셋과 한 개의 노이즈 데이터셋에서 강력한 일반화 능력을 보이며, 다양한 음향 조건에 대한 내구성을 확인한다.
• 결과적으로, 청소된 데이터가 필요 없이 오직 노이즈가 있는 데이터만으로 자기지도 학습을 수행해도, 청소된 데이터가 필요한 지도 학습보다 더 나은 노이즈 제거 성능을 달성할 수 있음을 입증한다.