[논문 리뷰] Generative Adversarial Source Separation

Cem Subakan, Paris Smaragdis|arXiv (Cornell University)|2017. 10. 30.

Speech and Audio Processing참고 문헌 5인용 수 8

한 줄 요약

이 논문은 기존의 NMF 및 최대우도 자동에코더와 같은 전통적인 생성 모델 대신 워셔스타인 생성 적대 신경망(WGANs)을 음성 소스 분리에 사용할 것을 제안한다. 두 층의 퍼셉트론으로 구성된 모델이 WGAN 손실을 통해 훈련될 때, 출력 분포에 대한 매개수 모델 가정 없이도 소스 대 왜곡 비율(SDR)에서 뛰어난 성능을 달성하며, 이는 비모수적 출력 분포를 가정하지 않는 조건에서 우수한 음성 소스 분리를 가능하게 한다.

ABSTRACT

Generative source separation methods such as non-negative matrix factorization (NMF) or auto-encoders, rely on the assumption of an output probability density. Generative Adversarial Networks (GANs) can learn data distributions without needing a parametric assumption on the output density. We show on a speech source separation experiment that, a multi-layer perceptron trained with a Wasserstein-GAN formulation outperforms NMF, auto-encoders trained with maximum likelihood, and variational auto-encoders in terms of source to distortion ratio.

연구 동기 및 목표

• 출력 분포에 대한 명시적 매개수 가정(예: 포isson 또는 가우시안 잡음 모델)이 필요한 생성 소스 분리 모델의 한계를 해결하기 위해.
• 특히 워셔스타인 GAN 형식을 사용한 생성 적대 신경망(GANs)이 이러한 가정 없이도 음성 스펙트로그램의 더 정확한 데이터 분포를 학습할 수 있는지 조사하기 위해.
• 표준 NMF, 최대우도 자동에코더, 변분 자동에코더와 비교하여 WGAN 기반 모델의 음성 소스 분리 작업에서의 성능을 평가하기 위해.
• 특히 표준 GAN이 훈련이 어려운 것으로 알려져 있는 점을 감안할 때, 음성 모델링에서 적대적 훈련의 안정성과 효과성을 평가하기 위해.
• 적대적 훈련에서 디스크림이 의미 있는 재구성 측도를 학습함으로써 소스 분리에 암묵적으로 기여할 수 있음을 보여주기 위해.

제안 방법

• 저자는 두 층의 퍼셉트론 생성기(소프트플러스 비선형성 사용)를 사용하여 513차원의 잠재 벡터를 스펙트로그램 프레임으로 매핑하며, 이는 $ W_1 $ 및 $ W_2 $의 가중치로 매개수화된다.
• 생성기의 경우, WGAN 설정에서는 513차원의 가우시안 노이즈 입력을 사용하고, 자동에코딩 변형에서는 실제 소스 스펙트로그램을 생성기의 입력으로 사용한다.
• 비평가 네트워크는 ReLU 및 시그모이드 활성화 함수를 사용하는 두 층의 피드포워드 네트워크이며, WGAN에서는 최종 레이어에 항등함수를 사용하여 기울기 안정성을 확보한다.
• WGAN 훈련은 가중치 클리핑을 통해 리프시츠 제약 조건을 강제로 이행하며, 비평가의 가중치는 -0.01에서 0.01 사이로 클리핑된다.
• 생성기는 진짜 데이터에서 비평가의 출력을 최소화하고 생성된 샘플에서의 출력을 최대화하도록 훈련되며, 기울기 페널티가 클리핑을 통해 암묵적으로 강제되는 최소-최대 목적함수를 사용한다.
• 모든 모델은 고정된 학습률 0.001로 RMSprop를 사용하여 훈련되며, 디스크림이 생성자 업데이트당 다섯 번씩 업데이트된다.

실험 결과

연구 질문

• RQ1 WGAN 기반 생성 모델이 NMF 및 자동에코더와 같은 기존의 최대우도 기반 모델보다 음성 소스 분리에서 더 우수한 성능을 내는가?
• RQ2 GAN에서 매개수 출력 분포 가정이 없을 경우, 포isson 또는 가우시안 잡음 모델을 가정하는 모델보다 스펙트로그램 분포를 더 잘 모델링하는가?
• RQ3 표준 GAN은 음성 소스 분리 작업에서 더 안정적인 WGAN 형식보다 성능이 열 劣한가?
• RQ4 생성기가 실제 데이터에 조건부로 설정된 자동에코딩 GAN은 노이즈 조건부 GAN과 비교해 경쟁적인 성능을 내는가?
• RQ5 적대적 훈련은 최대우도 기반 훈련에 비해 SDR, SIR, SAR와 같은 소스 분리 지표를 얼마나 향상시키는가?

주요 결과

• 가우시안 노이즈 입력을 사용한 워셔스타인 GAN이 비교된 모든 모델 중에서 가장 높은 소스 대 왜곡 비율(SDR)을 기록했으며, NMF, 최대우도 자동에코더, 변분 자동에코더를 모두 능가했다.
• 표준 GAN은 스펙트로그램 분포의 다양성을 포착하지 못해 안정성이 떨어지고, 종종 성능이 열 劣한 불일관된 분리 성능을 보였다.
• 자기에코딩 WGAN 변형은 경쟁적인 성능를 보였지만, 노이즈 조건부 WGAN보다는 덜 신뢰할 수 있었으며, 이는 노이즈 조건부 생성이 분리된 소스 모델링을 위한 더 나은 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 적대적 모델은 일반적으로 높은 소스 대 간섭 비율(SIR)을 기록하여 간섭을 효과적으로 억제했지만, 최대우도 모델에 비해 소스 대 잡음 비율(SAR)에서 略로 낮은 성능를 보였다.
• WGAN 형식은 원래 GAN에 비해 더 부드러운 기울기와 더 안정적인 훈련을 제공했으며, 이는 음성 생성 작업에서 일관된 성능을 유지하는 데 핵심적이었다.
• 결과적으로 WGAN가 스펙트로그램 공간에서 복잡한 비모수적 데이터 분포를 효과적으로 학습할 수 있음을 보여주며, 이는 최대우도 기반 모델에 대한 강력한 대안이 된다.