[논문 리뷰] Mixture of Inference Networks for VAE-based Audio-visual Speech Enhancement

Mostafa Sadeghi, Xavier Alameda-Pineda|arXiv (Cornell University)|2019. 12. 23.

Speech and Audio Processing참고 문헌 46인용 수 24

한 줄 요약

이 논문은 변분 오토인코더를 위한 추론 네트워크의 혼합(MIN-VAE)을 제안하여, 두 가지 모odal 전용 인코더를 통해 청각 및 시각 모odal의 추론을 분리함으로써 음성-시각 음성 강화 성능을 향상시킨다. 이 방법은 공유 디코더를 사용하고 잠재 변수의 혼합을 학습하여 청각 및 시각 정보를 적응적으로 융합하며, 훈련 중에 노이즈 데이터가 필요 없이 강건한 비지도 음성 강화를 가능하게 하여, 음성 전용 및 표준 음성-시각 VAE 기준보다 뛰어난 성능을 달성한다.

ABSTRACT

In this paper, we are interested in unsupervised (unknown noise) audio-visual speech enhancement based on variational autoencoders (VAEs), where the probability distribution of clean speech spectra is simulated using an encoder-decoder architecture. The trained generative model (decoder) is then combined with a noise model at test time to estimate the clean speech. In the speech enhancement phase (test time), the initialization of the latent variables, which describe the generative process of clean speech via decoder, is crucial, as the overall inference problem is non-convex. This is usually done by using the output of the trained encoder where the noisy audio and clean visual data are given as input. Current audio-visual VAE models do not provide an effective initialization because the two modalities are tightly coupled (concatenated) in the associated architectures. To overcome this issue, inspired by mixture models, we introduce the mixture of inference networks variational autoencoder (MIN-VAE). Two encoder networks input, respectively, audio and visual data, and the posterior of the latent variables is modeled as a mixture of two Gaussian distributions output from each encoder network. The mixture variable is also latent, and therefore the inference of learning the optimal balance between the audio and visual inference networks is unsupervised as well. By training a shared decoder, the overall network learns to adaptively fuse the two modalities. Moreover, at test time, the visual encoder, which takes (clean) visual data, is used for initialization. A variational inference approach is derived to train the proposed generative model. Thanks to the novel inference procedure and the robust initialization, the proposed MIN-VAE exhibits superior performance on speech enhancement than using the standard audio-only as well as audio-visual counterparts.

연구 동기 및 목표

• 표준 음성-시각 VAE의 한계를 해결하기 위해, 청각 및 시각 모달이 강하게 결합된 인코더로 인해 추론 시 잠재 변수 초기화가 최적화되지 않는 문제를 해결하고자 한다.
• 훈련 중에 노이즈 데이터가 필요 없이, 청각 및 시각 모달의 적응적 융합을 가능하게 하여 비지도 음성-시각 음성 강화 성능을 향상시키고자 한다.
• 잠재 변수의 사후 분포 추정을 위한 모달 전용 추론 네트워크와 혼합 메커니즘을 동시에 학습하는 변분 추론 프레임워크를 개발하고자 한다.
• 시험 시에 청결한 시각 데이터를 활용하여 잠재 공간을 초기화함으로써, 비볼록 최적화 문제 상황에서도 추론의 안정성과 성능을 향상시키고자 한다.
• 생성 모델링과 강력한 다중모달 추론을 융합하여, 알려지지 않은 노이즈 조건 하에서도 최신 기술 수준의 음성 강화 성능을 달성하고자 한다.

제안 방법

• 청각 및 시각 입력을 각각 독립적으로 처리하는 두 개의 별도 인코더를 갖는 추론 네트워크의 혼합(MIN-VAE)을 도입하여, 잠재 변수에 대한 두 개의 가우시안 사후 분포를 생성한다.
• 잠재 변수의 사후 분포를 두 개의 가우시안 혼합으로 모델링하며, 혼합 가중치는 잠재 베르누이 변수로 학습하여, 모달 간의 비지도 적응을 가능하게 한다.
• 공유 디코더를 사용하여 잠재 변수에서 청결한 음성 스펙트로그램을 재구성함으로써, 다양한 모달 간에 일관된 생성 모델링을 보장한다.
• EM 유사 알고리즘을 사용한 변분 추론을 적용한다: E단계에서는 메트로폴리스-해스팅스 샘플링을 사용하여 잠재 변수의 사후 분포를 근사하며, 초기화로 시각 인코더의 출력을 활용한다.
• M단계에서는 다중 곱셈 업데이트를 통해 디코더 가중치, 노이즈 파라미터 및 혼합 사전 확률를 업데이트하여 변분 하한을 최대화한다.
• 시험 시에는 시각 인코더의 출력을 사용하여 잠재 변수를 초기화함으로써, 노이즈가 심한 청각 조건에서도 강건한 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 VAE 프레임워크 내에서 청각 및 시각 추론을 분리함으로써, 잠재 변수의 초기화 향상과 음성 강화 성능 향상이 가능할까?
• RQ2 학습 가능한 추론 네트워크 혼합이 연결된 인코더에 비해 청각 및 시각 모달의 더 나은 적응적 융합을 이끌 수 있을까?
• RQ3 제안된 MIN-VAE가 알려지지 않은 노이즈 조건 하에서도 비지도 음성-시각 음성 강화에서 뛰어난 성능을 달성할 수 있을까?
• RQ4 시각 데이터를 활용한 잠재 변수 초기화가 추론 안정성과 재구성 품질에 어떤 영향을 미칠까?
• RQ5 제안된 방법이 감독 및 표준 비지도 기준 대비 새로운 노이즈 유형에 대해 얼마나 잘 일반화될 수 있을까?

주요 결과

• 제안된 MIN-VAE는 알려지지 않은 노이즈 유형에 대해 음성 전용 VAE 및 표준 음성-시각 VAE 기준보다 뛰어난 음성 강화 성능을 기록한다.
• 시각 인코더의 출력을 활용하여 초기화함으로써, 시각 데이터가 완벽하게 정렬되어 있지 않더라도 노이즈 또는 열악한 시각 입력에 대해 강건성을 확보한다.
• 모달 전용 인코더와 학습 가능한 혼합 메커니즘의 조합을 통해 추론 과정에서 더 효과적이고 적응적인 청각 및 시각 정보 융합이 가능해진다.
• 메트로폴리스-해스팅스 샘플링을 활용한 변분 추론 절차는 비볼록 최적화 과제에도 불구하고 안정적인 사후 근사가 가능하게 한다.
• 정량적 결과는 특히 저 SNR 조건에서 기준 모델 대비 PESQ 및 STOI 점수에서 뚜렷한 향상을 보이며, 제안된 아키텍처의 효과성을 확인한다.
• 비지도 훈련 파라다임과 분리된 모달 표현 학습 덕분에, 새로운 노이즈 유형에 대해 잘 일반화됨을 확인할 수 있다.