[논문 리뷰] PoCoNet: Better Speech Enhancement with Frequency-Positional Embeddings, Semi-Supervised Conversational Data, and Biased Loss

Umut Isik, Ritwik Giri외 4명|arXiv (Cornell University)|2020. 08. 10.

Speech and Audio Processing인용 수 6

한 줄 요약

PoCoNet은 주파수 위치 임베딩을 통해 주파수 인지 특징 학습을 향상시키고, 대화형 데이터에 대한 준지도 학습을 통해 실제 환경에서의 강건성을 높이며, 음성 품질 유지에 우선순위를 두는 편향된 L1 손실을 통해 대규모 신경망에서 음성 증강 성능을 향상시켰다. 이는 2020년 딥 노이즈 서프레션 챌린지의 비실시간 트랙에서 1등을 차지하며 최고 성능을 달성했다.

ABSTRACT

Neural network applications generally benefit from larger-sized models, but for current speech enhancement models, larger scale networks often suffer from decreased robustness to the variety of real-world use cases beyond what is encountered in training data. We introduce several innovations that lead to better large neural networks for speech enhancement. The novel PoCoNet architecture is a convolutional neural network that, with the use of frequency-positional embeddings, is able to more efficiently build frequency-dependent features in the early layers. A semi-supervised method helps increase the amount of conversational training data by pre-enhancing noisy datasets, improving performance on real recordings. A new loss function biased towards preserving speech quality helps the optimization better match human perceptual opinions on speech quality. Ablation experiments and objective and human opinion metrics show the benefits of the proposed improvements.

연구 동기 및 목표

• 다양한 실제 환경 조건에서 대규모 신경망의 음성 증강에 대한 강건성과 청취자 품질을 향상시키기 위해.
• 공개 데이터셋에서 대화형 음성 데이터의 부족을 해결하기 위해 준지도 학습 방법을 활용해 노이즈가 섞인 실제 기록에서 깨끗한 대화 음성을 추출하기 위해.
• 목표 손실 함수와 인간의 음성 품질 인식 간 격차를 줄이기 위해 청취자 기반 편향 손실 함수를 도입하기 위해.
• 2D U-Net 아키텍처에 주파수 위치 임베딩을 통합하여 초기 네트워크 레이어에서의 특징 학습을 향상시키기 위해.
• 합성 리버버버션과 다중 조건 학습을 포함한 광범위한 데이터 증강을 통해 모델 일반화 능력을 향상시키기 위해.

제안 방법

• PoCoNet는 6단계 2D U-Net 아키텍처를 사용하며, DenseNet 블록과 자기주의를 통합하고, 주파수 위치 임베딩을 도입하여 초기 주파수 인지 특징 학습을 가능하게 한다.
• 노이즈가 섞인 VoxCeleb2 데이터를 사전 증강하기 위해 준지도 학습 방법을 적용하고, LibriSpeech로 훈련된 모델을 사용해 훈련용으로 깨끗한 대화 음성을 추출한다.
• 다중 구성 요소 손실을 사용한다: 크기 스펙트럼에 대한 편향된 L1 손실은 과소 추정을 방지하고 고주파를 강조하며, STFT 및 복소수 곱셈을 통해 역전파되는 웨이브폼 도메인 L1 손실을 포함한다.
• 데이터 증강에는 실제 및 합성 방음 응답을 사용한 합성 리버버버션과 부분적 리버버버션 여부에 따라 별도로 훈련된 모델을 포함한다.
• 아키텍처는 STFT 입력과 복소비율 마스크 출력을 처리하며, 인퍼런스는 40ms 프레임과 한 프레임의 앞서기 전략을 사용해 아티팩트를 줄인다.
• 하이퍼파라미터는 기본적인 타당한 값으로 설정되며, 손실 가중치 λ_fg=2.0, λ_bg=0.4, λ_audio=1, λ_spectral=1.5, λ_over=2.6, λ_under=13.3을 포함한다.

실험 결과

연구 질문

• RQ1 2D U-Net의 초기 레이어에서 주파수 위치 임베딩이 음성 증강을 위한 특징 학습에 기여하는가?
• RQ2 대화형 데이터에 대한 준지도 학습이 실제 기록에서의 모델 강건성에 얼마나 기여하는가?
• RQ3 청취자 기반 편향된 L1 손실이 모델 최적화를 인간의 음성 품질 인식과 일치시키는 데 얼마나 효과적인가?
• RQ4 주파수 위치 임베딩, 대화형 데이터, 편향된 손실을 조합했을 때 목적 및 주관적 지표에서 상호보완적 향상이 이루어지는가?
• RQ5 저 SNR 및 리버버버션 조건에서 기준 시스템에 비해 모델의 성능은 어떠한가?

주요 결과

• PoCoNet는 DNS 챌린지의 합성 비맹 Bermas 테스트 세트에서 평균 관점 점수(MOS) 3.52를 기록하여 기준 모델(2.95)과 노이즈가 섞인 기준(3.13)을 크게 앞서며 성능을 냈다.
• 실제 기록에서 모델은 MOS 3.40을 기록했으며, 노이즈 기준(2.83)과 기준 모델(2.64)에 비해 상당한 향상을 보였다.
• 절단 실험 결과, 준지도 학습된 대화형 데이터를 제거하면 실제 기록에서 MOS가 0.21점 감소했으며, 이는 강건성 확보에 있어 핵심적인 역할을 함을 시사한다.
• 합성 비리버버런트 테스트 세트에서 PESQ 점수는 2.745, CSIG 점수는 4.080을 기록하여 RNNoise 및 DNS 챌린지 기준 모델를 모두 능가했다.
• 편향된 손실 함수는 청취자 품질 향상에 기여했으며, 제거 시 MOS는 0.12점 감소하고 CSIG는 0.331점 감소했다.
• 모델은 2020년 딥 노이즈 서프레션 챌린지의 비실시간 트랙에서 1등을 차지하여 최고 성능임을 확인했다.