[논문 리뷰] Single Channel Audio Source Separation using Convolutional Denoising Autoencoders

Emad M. Grais, Mark D. Plumbley|arXiv (Cornell University)|2017. 03. 23.

Speech and Audio Processing참고 문헌 27인용 수 14

한 줄 요약

이 논문은 단일 채널 음성 신호 분리에 깊이 있는 완전 컨volution 신경망 노이즈 제거 오토인코더(CDAE)를 사용하는 것을 제안하며, 각 소스에 대해 별도의 CDAE를 훈련시켜 목표 성분을 추출하고 나머지 소스를 노이즈로 간주한다. 실험 결과, 피드포워드 신경망에 비해 파rameter 수가 적은 CDAE는 경쟁력 있는 성능을 달성하며, 특히 드럼과 같은 어려운 소스 분리에서 뛰어난 성능을 보였다.

ABSTRACT

Deep learning techniques have been used recently to tackle the audio source separation problem. In this work, we propose to use deep fully convolutional denoising autoencoders (CDAEs) for monaural audio source separation. We use as many CDAEs as the number of sources to be separated from the mixed signal. Each CDAE is trained to separate one source and treats the other sources as background noise. The main idea is to allow each CDAE to learn suitable spectral-temporal filters and features to its corresponding source. Our experimental results show that CDAEs perform source separation slightly better than the deep feedforward neural networks (FNNs) even with fewer parameters than FNNs.

연구 동기 및 목표

• 딥 러닝을 사용하여 단일 채널 음성 신호 분리(SCSS)의 과제를 해결하기 위해.
• 컨volution 신경망 노이즈 제거 오토인코더(CDAE)가 소스 분리에 적합한 스펙트럼-시간 특징을 강건하게 학습할 수 있는지 탐색하기 위해.
• 분리 품질과 파rameter 효율성 측면에서 CDAE 성능을 완전 연결 피드포워드 신경망(FNN)과 비교하기 위해.
• 소스 분리 과정에서 매우 비정상적인 배경 노이즈를 다룰 수 있는 CDAE의 효과성을 평가하기 위해.

제안 방법

• 각 소스는 다른 소스들을 배경 노이즈로 간주하는 전용 CDAE를 통해 분리된다.
• CDAE 아키텍처는 2차원 컨볼루션 레이어, ReLU 활성화 함수, 인코더에서의 맥스 풀링, 디코더에서의 역컨볼루션과 업샘플링을 포함한다.
• 각 CDAE의 입력은 혼합 신호의 2차원 세기 스펙트로그램 세그먼트이며, 훈련 중 노이즈가 추가되어 강건성이 향상된다.
• 에너지 보존을 확보하기 위해 스펙트럼 마스크는 공식 $ \mathbf{M}_{i}(n,f) = \frac{\mathbf{\tilde{S}}_{i}(n,f)}{\sum_{j}^{I}\mathbf{\tilde{S}}_{j}(n,f)} $ 를 사용하여 계산된다.
• 최종 소스 추정치는 혼합 신호의 위상과 마스킹된 세기 스펙트로그램을 사용하여 역 STFT를 통해 확보된다.
• 훈련은 네스터로프 가속 경사법을 사용하며, 조기 정지와 학습률 감소를 적용하며 검증 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 노이즈 제거 오토인코더(CDAE)는 단일 채널 음성 혼합 신호에서 개별 소스를 효과적으로 분리할 수 있는가?
• RQ2 분리 품질과 파ram터 효율성 측면에서 CDAE 성능은 완전 연결 피드포워드 신경망(FNN)에 비해 어떻게 비교되는가?
• RQ3 CDAE 아키텍처는 완전 연결 네트워크보다 음성 신호의 스펙트럼-시간 구조를 더 잘 포착하는가?
• RQ4 드럼과 같이 분리가 어려운 소스에 대해 CDAE는 얼마나 잘 작동하는가?
• RQ5 CDAE는 FNN에 비해 더 적은 파rameter로 높은 품질의 분리를 달성할 수 있는가?

주요 결과

• CDAE는 파rameter 수가 적음에도 불구하고 FNN보다 略적으로 뛰어난 소스 분리 성능를 달성한다.
• 드럼과 같이 특히 어려운 소스 분리에서 CDAE는 FNN에 비해 뚜렷한 향상을 보였다.
• CDAE의 정규화된 SDR 및 SIR 값은 모두 양수이며, 효과적인 분리와 노이즈 억제를 나타낸다.
• 모든 소스에 대해 CDAE는 FNN보다 SAR에서 뛰어나, 분리된 신호에서 더 적은 아티팩트를 유발한다.
• 보컬과베이스에 대해서는 CDAE와 FNN의 SDR 및 SIR 성능이 유사하게 나타났다.
• 스펙트럼 마스킹의 사용으로 추정된 소스들의 합이 원래 혼합 신호에 근접하게 되었다.