[논문 리뷰] A Recurrent Variational Autoencoder for Speech Enhancement

Simon Leglaive, Xavier Alameda-Pineda외 2명|arXiv (Cornell University)|2019. 10. 24.

Speech and Audio Processing참고 문헌 33인용 수 5

한 줄 요약

이 논문은 단일 채널 음성 강화를 위한 순환 변동형 오토인코더(RVAE)를 제안하며, 잠재 변수의 시간적 의존성을 활용하여 피드포워드 아키텍처보다 재구성 성능을 향상시킨다. 테스트 시점에 변동형 EM 알고리즘을 통해 인코더를 미세조정함으로써, 후행 시간 동적 특성을 포착하여 기준 방법 대비 6.8 dB의 SI-SDR 향상을 달성하며 최신 기술 수준을 확보한다.

ABSTRACT

This paper presents a generative approach to speech enhancement based on a recurrent variational autoencoder (RVAE). The deep generative speech model is trained using clean speech signals only, and it is combined with a nonnegative matrix factorization noise model for speech enhancement. We propose a variational expectation-maximization algorithm where the encoder of the RVAE is fine-tuned at test time, to approximate the distribution of the latent variables given the noisy speech observations. Compared with previous approaches based on feed-forward fully-connected architectures, the proposed recurrent deep generative speech model induces a posterior temporal dynamic over the latent variables, which is shown to improve the speech enhancement results.

연구 동기 및 목표

• 피드포워드 VAE가 음성 신호의 시간적 의존성을 모델링하는 데 한계를 보이는 것을 해결하기 위해.
• 심층 생성 모델의 잠재 공간에 순환 동적 특성을 도입하여 음성 강화 성능을 향상시키기 위해.
• 노이즈가 섞인 관측값을 기반으로 잠재 변수의 진정된 후행 분포를 근사하기 위해 테스트 시점에 인코더를 미세조정하는 추론 방법을 개발하기 위해.
• 독립된 프레임 모델링을 초월하여 후행 시간 동적 특성이 음성 품질 향상에 기여하는지를 입증하기 위해.
• 점추정 대안 및 피드포워드 기반 기준 모델에 비해 제안된 RVAE와 변동형 EM의 우수성을 검증하기 위해.

제안 방법

• 전체 잠재 변수 시퀀스에 조건을 부여하는 RNN 기반 디코더를 갖춘 순환 VAE(RVAE)를 사용하여 음성 프레임의 시간 모델링을 가능하게 한다.
• 테스트 시점에 노이즈 혼합물로부터 추정되는 비음성 행렬 분해(NMF) 노이즈 모델을 사용하며, 그 매개변수는 테스트 시점에 추정된다.
• 테스트 시점에 변동형 기대최대화(VEM) 알고리즘을 적용하며, 인코더가 노이즈 입력을 기반으로 한 잠재 변수의 진정된 후행 분포를 근사하도록 미세조정된다.
• 비교를 위해 잠재 변수의 최대우도추정(MAP) 값만을 사용하는 '점추정' 대안(PEEM)을 도입한다.
• VEM 목표함수에 대해 R=1개 샘플을 사용한 몬테카를로 추정을 적용하며, FFNN의 경우 10단계의 경사하강법, RNN/BRNN의 경우 1단계로 성능과 계산량을 균형 잡는다.
• 모델은 청소된 음성 데이터만으로 학습되며, 생성 모델은 신경망이 예측한 분산을 갖는 복소수 정규 분포 가능도로 정의된다.

실험 결과

연구 질문

• RQ1 VAE의 잠재 공간에 순환 동적 특성을 통합함으로써 피드포워드 아키텍처에 비해 음성 강화 성능이 향상되는가?
• RQ2 변동형 EM을 통해 테스트 시점에 인코더를 미세조정하면 점추정 추론보다 더 나은 음성 추정을 얻을 수 있는가?
• RQ3 RNN 아키텍처에 의해 유도된 후행 시간 동적 특성이 VEM 알고리즘의 최적화를 안정화하고 향상시키는가?
• RQ4 제안된 RVAE 기반 방법은 SI-SDR, PESQ, ESTOI 측면에서 기존의 생성적 및 판별적 접근법에 비해 어떻게 비교되는가?
• RQ5 이 음성 강화 설정에서 이중방향 RNN(BRNN) 버전이 단방향 RNN(RNN)에 비해 유의미하게 더 나은가?

주요 결과

• VEM을 적용한 RVAE는 중앙값 SI-SDR가 6.8 dB를 기록하며, 피드포워드 신경망 기반 VEM(4.4 dB) 및 PEEM(4.4 dB)을 크게 앞서며 순환 모델링의 유용성을 입증한다.
• RNN 기반 모델은 6.8 dB의 SI-SDR를 달성하여, MCEM를 사용한 최고 성능 피드포워드 신경망 모델(5.4 dB)보다 1.4 dB 높은 성능을 보이며 시간적 동적 특성의 이점을 확인한다.
• BRNN 모델은 6.9 dB의 SI-SDR를 기록하며 RNN보다 略적으로 우수하지만, 통계적으로 유의미한 차이는 없어 이중방향 컨텍스트의 이점이 이 설정에서는 제한적임을 시사한다.
• 모든 모델에서 VEM 알고리즘이 PEEM을 능가하며, RNN 모델의 경우 SI-SDR에서 2.4 dB 향상되어 후행 분포의 전반적 근사가 점추정보다 가치 있음을 확인한다.
• FFNN 모델의 경우 VEM 알고리즘이 반복 과정을 거치며 성능이 악화되는 것으로 나타나 불안정함을 보였지만, RNN 모델은 안정성을 유지하여 시간적 동적 특성이 수렴성과 최적화를 지원함을 시사한다.
• 제안된 방법은 ESTOI 0.67, PESQ 2.35를 기록하며 오라클 위너 필터(ESTOI 0.88, PESQ 3.13)에 가까운 청각적 품질을 달성했으며, 이는 훈련 데이터가 쌍으로 제공되지 않은 상황에서도 강력한 청각적 품질을 제공함을 보여준다.