[논문 리뷰] Semi-blind source separation with multichannel variational autoencoder

Hirokazu Kameoka, Li Li외 2명|arXiv (Cornell University)|2018. 08. 02.

Speech and Audio Processing참고 문헌 23인용 수 36

한 줄 요약

이 논문은 다중채널 변동형 오토인코더(MVAE)를 제안하며, 소스 전력 스펙트로그램을 클래스 조건부 생성 방식으로 모델링하는 조건부 VAE(CVAE)를 사용하는 반맹춤 소스 분리 방법이다. 이는 반복적으로 스펙트로그램과 분리 행렬을 추정함으로써 수렴 보장이 되는 분리를 가능하게 한다. MVAE는 비향반성 및 반향성 조건에서 모두 기준 ILRMA보다 분리 품질이 뛰어나며, 수렴 보장이 되는 딥 생성 모델링을 통해 뛰어난 성능을 보여준다.

ABSTRACT

This paper proposes a multichannel source separation technique called the multichannel variational autoencoder (MVAE) method, which uses a conditional VAE (CVAE) to model and estimate the power spectrograms of the sources in a mixture. By training the CVAE using the spectrograms of training examples with source-class labels, we can use the trained decoder distribution as a universal generative model capable of generating spectrograms conditioned on a specified class label. By treating the latent space variables and the class label as the unknown parameters of this generative model, we can develop a convergence-guaranteed semi-blind source separation algorithm that consists of iteratively estimating the power spectrograms of the underlying sources as well as the separation matrices. In experimental evaluations, our MVAE produced better separation performance than a baseline method.

연구 동기 및 목표

• 기존의 NMF와 같은 강성 있는 모델에 의존하거나 딥 네트워크를 사용할 경우 수렴 보장을 갖지 못하는 맹춤 소스 분리 방법의 한계를 해결하기 위해.
• 알고리즘 수렴을 보장하면서도 딥 생성 모델의 표현 능력을 활용하는 소스 분리 프레임워크를 개발하기 위해.
• 소스 모델의 학습 목표를 분리 알고리즘의 최적화 기준과 통합하여 성능을 향상시키기 위해.
• 클래스 조건부 스펙트로그램 생성을 통해 비향반성 및 반향성 환경 모두에서 효과적인 소스 분리를 가능하게 하기 위해.

제안 방법

• 소스 신호의 전력 스펙트로그램을 소스 클래스 레이블(예: 화자 신원 등)에 조건부로 모델링하기 위해 조건부 변동형 오토인코더(CVAE)를 사용한다.
• 라벨이 부여된 학습 스펙트로그램을 기반으로 CVAE를 훈련시켜, 주어진 어떤 클래스에 대해서도 스펙트로그램을 합성할 수 있는 유니버설 생성 모델을 학습한다.
• 고정점 업데이트 규칙을 사용하여 분리 행렬을 업데이트하면서 잠재 변수와 클래스 레이블을 반복적으로 추정하는 알고리즘을 적용한다.
• 잠재 공간과 클래스 레이블을 알려지지 않은 매개변수로 간주하여, 수렴 보장이 되는 공동 최적화를 수행한다.
• 최적화 과정에서 클래스 확률의 합이 1이 되도록 보장하기 위해 소프트맥스 레이어를 사용한다.
• CVAE의 생성 모델을 반맹춤 소스 분리 프레임워크에 통합하여, VAE 학습 목표와 분리 목표를 일치시킨다.

실험 결과

연구 질문

• RQ1 CVAE와 같은 딥 생성 모델을 사용하여 반맹춤 소스 분리 설정에서 수렴 보장을 보장할 수 있는 방식으로 소스 스펙트로그램을 모델링할 수 있는가?
• RQ2 CVAE 기반의 소스 모델을 통합함으로써 기존의 NMF 기반 방법(예: ILRMA)보다 분리 성능이 향상되는가?
• RQ3 CVAE의 학습 목표를 소스 분리 최적화와 일치시킴으로써 전체 성능을 향상시킬 수 있는가?
• RQ4 다양한 반향 시간 조건(예: 다양한 RT60)에서 MVAE는 어떻게 성능을 발휘하는가?
• RQ5 클래스 조건부 생성을 활용하여 미리 보지 못한 소스 신호에 대해서도 일반화가 가능한가?

주요 결과

• MVAE는 모든 화자 쌍과 반향 조건에서 평균 SDR, SIR, SAR 측정치에서 ILRMA 기준보다 유의미하게 뛰어난 성능을 보였다.
• RT60가 78 ms(비향반성)일 경우, MVAE는 ILRMA보다 더 높은 평균 SDR, SIR, SAR 성능을 기록하여 저반향 환경에서도 뛰어난 강건성을 입증했다.
• RT60가 351 ms(매우 반향성 강한)일 경우에도 MVAE는 ILRMA를 능가했지만, 양측 모두 성능 저하가 발생하여 반향 제거 통합의 여지가 있음을 시사했다.
• MVAE는 NMF 가정을 초월한 복잡한 스펙트로그램 구조를 CVAE가 잘 모델링할 수 있었기 때문에 더 뛰어난 분리 품질을 달성했다.
• CVAE 학습과 소스 분리 과정 간 일관된 최적화 기준 덕분에 알고리즘이 수렴 보장을 받는다.
• 클래스 조건부 생성을 통해 미리 보지 못한 소스 신호에 대해서도 고품질의 스펙트로그램을 생성함으로써 일반화 능력을 입증했다.