[논문 리뷰] Generalized Multichannel Variational Autoencoder for Underdetermined Source Separation

Shogo Seki, Hirokazu Kameoka외 3명|arXiv (Cornell University)|2018. 09. 29.

Speech and Audio Processing인용 수 12

한 줄 요약

이 논문은 기존의 비음성 행렬 분해(NMF) 소스 모델을 조건부 변분 오토에인드어(CVAE)로 대체함으로써 더 복잡한 스펙트로템포럴 패턴을 보다 잘 포착할 수 있는, 다채널 소스 분리의 새로운 프레임워크인 일반화된 다채널 변분 오토에인드어(GMVAE)를 제안한다. GMVAE는 특히 반향 환경에서 3개의 소스를 2개의 마이크에서 분리하는 과도한 불확실 조건에서 MNMF보다 뛰어난 성능을 기록한다. 이는 깊이 있는 생성 모델링의 표현력 향상 덕분이다.

ABSTRACT

This paper deals with a multichannel audio source separation problem under underdetermined conditions. Multichannel Non-negative Matrix Factorization (MNMF) is one of powerful approaches, which adopts the NMF concept for source power spectrogram modeling. This concept is also employed in Independent Low-Rank Matrix Analysis (ILRMA), a special class of the MNMF framework formulated under determined conditions. While these methods work reasonably well for particular types of sound sources, one limitation is that they can fail to work for sources with spectrograms that do not comply with the NMF model. To address this limitation, an extension of ILRMA called the Multichannel Variational Autoencoder (MVAE) method was recently proposed, where a Conditional VAE (CVAE) is used instead of the NMF model for source power spectrogram modeling. This approach has shown to perform impressively in determined source separation tasks thanks to the representation power of DNNs. While the original MVAE method was formulated under determined mixing conditions, this paper generalizes it so that it can also deal with underdetermined cases. We call the proposed framework the Generalized MVAE (GMVAE). The proposed method was evaluated on a underdetermined source separation task of separating out three sources from two microphone inputs. Experimental results revealed that the GMVAE method achieved better performance than the MNMF method.

연구 동기 및 목표

• 스펙트로그램이 NMF 가정을 만족하지 못하는 소스를 모델링하는 데 있어 기존 다채널 NMF(MNMF) 및 ILRMA의 한계를 해결하기 위해.
• 초기에는 결정 조건에서만 설계된 다채널 변분 오토에인드어(MVAE)를 과도한 불확실 조건에서의 소스 분리로 확장하기 위해.
• 다중채널 오디오에서 소스 파wer 스펙트로그램 추정을 더 유연하고 정확하게 하기 위해 조건부 확률적 생성 모델링(CVAE)을 활용하기 위해.
• 혼합 행렬, 소스 분산, VAE 파rameter를 동시에 추정할 수 있도록 보장하는 통합 최적화 프레임워크를 개발하기 위해.

제안 방법

• GMVAE 프레임워크는 MNMF의 NMF 기반 소스 모델을 소스의 파워 스펙트로그램을 말하는 조건부 변분 오토에인드어(CVAE)로 대체한다. 이때 CVAE는 화자 신원을 조건으로 사용한다.
• CVAE는 소스 스펙트로그램을 잠재 벡터로 매핑하는 인코더 네트워크와 잠재 코드에서 스펙트로그램을 재구성하는 디코더 네트워크로 구성되며, 모두 화자 레이블이 부여된 음성 데이터로 훈련된다.
• 혼합 행렬 A(f), 소스 분산 v_j(f,n), VAE 파rameter (ϕ, θ)를 동시에 최적화하는 변분 하한(ELBO)을 제안하며, 소스 파워와 희박성에 대한 제약 조건을 포함한다.
• 주로 대칭 최소화 알고리즘을 사용하여 ELBO를 반복적으로 최적화하며, 백프로파게이션과 닫힌 형식의 해를 이용해 혼합 행렬, 소스 분산, VAE 파rameter에 대해 별도로 업데이트한다.
• CVAE의 클래스 조건부 생성 능력을 위해 소스 클래스 임베딩 c_j에 소프트맥스 레이어를 적용하여 화자별 스펙트로그램의 적절한 클래스 기반 모델링을 보장한다.
• 알고리즘은 MNMF 기준선으로 초기화하고 반복적으로 개선되며, 주로 대칭 최소화 프레임워크 하에서 수렴이 보장된다.

실험 결과

연구 질문

• RQ1 CVAE와 같은 깊이 있는 생성 모델이 과도한 불확실 조건에서의 다채널 소스 분리에서 기존의 NMF 기반 모델보다 우수한 성능을 낼 수 있는가?
• RQ2 소스 스펙트로그램이 NMF 모델의 가정을 위반할 경우, CVAE의 표현력 향상이 분리 성능에 어떻게 기여하는가?
• RQ3 소스 수가 마이크 수를 초과하는 과도한 불확실 조건에서, 제안된 GMVAE 프레임워크는 수렴성과 안정성을 유지하는가?
• RQ4 반향 조건이 다양할 때, GMVAE는 MNMF에 비해 분리 품질에서 어떤가?

주요 결과

• SDR, SIR, ISR, SAR 지표로 측정한 결과, GMVAE는 저반향(T60 = 78 ms) 및 고반향(T60 = 351 ms) 조건 모두에서 MNMF보다 유의미하게 뛰어난 분리 성능을 기록했다.
• 특히 고반향 조건(T60 = 351 ms)에서 성능 향상이 두드러졌으며, 이는 MNMF가 고정된 NMF 모델로 인해 어려움을 겪는 반면, GMVAE의 유연한 CVAE 모델이 효과적으로 적응했기 때문이다.
• CVAE에서 화자 신원을 조건으로 사용함으로써 화자별 스펙트로그램을 정확하게 모델링할 수 있었고, 이는 분리 정확도 향상에 기여했다.
• 모든 평가 지표에서 두 개의 MNMF 기준선(MNMF1 및 MNMF2)보다 우수한 성능을 기록했으며, SDR 및 SIR에서 일관된 향상이 있었다.
• 주로 대칭 최소화 프레임워크 하에서 알고리즘이 안정적으로 수렴했고, MNMF로의 초기화가 최종 성능 향상에 기여했다.
• 결과적으로 CVAE를 통한 깊이 있는 생성 모델링은 다채널 BSS에서 소스 파워 스펙트로그램 모델링에 있어 NMF의 강력한 대안임을 확인했다.