[논문 리뷰] SVSGAN: Singing Voice Separation via Generative Adversarial Network

Zhe-Cheng Fan, Yen-Lin Lai외 1명|arXiv (Cornell University)|2017. 10. 31.

Speech and Audio Processing참고 문헌 22인용 수 5

한 줄 요약

이 논문은 주파수 도메인에서 조건부 생성 적대 신경망(CGAN)을 사용하는 새로운 노래 음성 분리 프레임워크인 SVSGAN을 제안한다. 깊이 있는 신경망 생성자에 대해 지도 학습 방식으로 초기화하고, 혼합 스펙트럼과 청소된 스펙트럼 분포를 비교하는 판별자와 함께 적대적 훈련을 통해 최적화함으로써, MIR-1K, iKala, DSD100 데이터셋 전반에서 소스 분리 성능을 향상시킨다. 이로 인해 MIR-1K에서 최대 6.78 dB의 SDR를 기록했으며, iKala에서는 10.32 dB의 SDR를 달성하여 기준 DNN보다 뛰어난 성능을 보였다.

ABSTRACT

Separating two sources from an audio mixture is an important task with many applications. It is a challenging problem since only one signal channel is available for analysis. In this paper, we propose a novel framework for singing voice separation using the generative adversarial network (GAN) with a time-frequency masking function. The mixture spectra is considered to be a distribution and is mapped to the clean spectra which is also considered a distribtution. The approximation of distributions between mixture spectra and clean spectra is performed during the adversarial training process. In contrast with current deep learning approaches for source separation, the parameters of the proposed framework are first initialized in a supervised setting and then optimized by the training procedure of GAN in an unsupervised setting. Experimental results on three datasets (MIR-1K, iKala and DSD100) show that performance can be improved by the proposed framework consisting of conventional networks.

연구 동기 및 목표

• 단일 오디오 혼합 신호만 제공되는 단아도(모노) 노래 음성 분리 과제를 해결하기 위해 깊이 있는 생성 모델링 기법을 활용한다.
• 기존의 지도 학습 기반 깊이 신경망(DNN)을 초월해 적대적 훈련을 통해 분리 성능을 향상시키는 것을 목표로 한다.
• 시간-주파수 마스킹을 활용한 조건부 GAN을 사용하여 혼합 스펙트럼으로부터 청소된 스펙트럼의 분포를 모델링하는 방법을 탐색한다.
• 사전 훈련된 생성자에 대해 지도 학습 방식으로 초기화한 후 비지도 GAN 훈련을 통해 분리 품질을 향상시킬 수 있음을 입증한다.

제안 방법

• 프레임워크는 생성자가 혼합 스펙트로그램을 청소된 보컬 및 배경 음악 스펙트로그램으로 매핑하는 조건부 GAN(CGAN)을 사용한다.
• 각 스펙트로그램은 분포에서 추출된 샘플 벡터로 간주되며, GAN은 혼합 스펙트럼 분포와 청소된 스펙트럼 분포 사이의 비선형 매핑을 학습한다.
• 생성자는 먼저 청소된 스펙트로그램과 혼합 스펙트로그램을 사용한 지도 학습 손실을 통해 사전 훈련된 후, 적대적 훈련을 통해 최적화된다.
• 판별자는 실제 청소된 스펙트럼과 생성된 스펙트럼을 구분하도록 훈련되며, 일반화 성능 향상을 위해 혼합 스펙트럼을 조건 입력으로 사용한다.
• 시간-주파수 마스킹 함수는 생성자의 출력에서 유도되어 최종 분리된 신호를 재구성한다.
• 모델은 훈련 및 평가를 위해 1024점 윈도우와 256점 히프 사이즈를 사용한 STFT를 적용하여 크기 스펙트로그램을 추출한다.

실험 결과

연구 질문

• RQ1 조건부 GAN을 주파수 도메인에 적용한 적대적 훈련이 노래 음성 분리 성능 향상에 기여하는가?
• RQ2 생성자를 지도 학습 방식으로 사전 훈련한 후 GAN을 통해 미세조정하는 것이 순수 지도 학습 기반 DNN보다 분리 품질을 향상시키는가?
• RQ3 판별자에 혼합 스펙트럼을 조건 입력으로 통합함으로써 분리 모델의 성능에 어떤 영향을 미치는가?
• RQ4 판별자에 입력 수를 증가시켜(예: 혼합, 보컬, 배경) 다양한 음악 장르에 걸쳐 일반화 능력을 향상시킬 수 있는가?

주요 결과

• MIR-1K 데이터셋에서 SVSGAN은 V+B+M 설정으로 가중 평균 SDR 6.78 dB를 기록했으며, 기준 DNN(6.57 dB)보다 뛰어난 성능을 보였다.
• iKala 데이터셋에서 SVSGAN은 V+B+M 설정으로 가중 평균 SDR 10.32 dB를 달성했으며, 기준 DNN(9.74 dB)를 초월했다.
• 혼합 스펙트럼을 판별자 입력으로 사용한 SVSGAN(V+M) 설정은 SVSGAN(V+B) 설정보다 더 우수한 성능을 기록했으며, 혼합 신호로부터의 구조적 학습 향상이 확인되었다.
• 보컬, 배경, 혼합 스펙트럼을 모두 포함한 SVSGAN(V+B+M) 설정은 가장 높은 성능를 기록했으며, 다중 입력 조건부 입력이 판별자의 일반화 능력을 향상시킨다는 것을 시사한다.
• DSD100 데이터셋에서 SVSGAN(V+B+M) 모델은 테스트 세트에서 중앙값 SDR 10.32 dB를 기록했으며, 제한된 훈련 데이터와 데이터 증강 없이도 효과적인 성능을 보였다.
• 결과는 조건부 GAN을 사용한 적대적 훈련이 복잡하고 다양한 음악 장르에서도 노래 음성 분리 성능을 크게 향상시킬 수 있음을 시사한다.