[논문 리뷰] Convolutional vs. Recurrent Neural Networks for Audio Source Separation

Shariq Mobin, Brian Cheung외 1명|arXiv (Cornell University)|2018. 02. 12.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 순환 신경망(RNN) 모델보다 10배 적은 파rameter를 사용하면서도 최신 기술 수준의 성능을 달성하는 컨volutional 신경망(CNN) 기반의 오디오 소스 분리 방법을 제안한다. 이는 더 긴 시퀀스, 노이즈 조건, 실제 환경에서 뛰어난 강건성과 일반화 능력을 보이며, 특히 실제 음향 조건을 반영한 새로 도입된 RealTalkLibri 데이터셋에서 RNN보다 뛰어난 성능을 보인다.

ABSTRACT

Recent work has shown that recurrent neural networks can be trained to separate individual speakers in a sound mixture with high fidelity. Here we explore convolutional neural network models as an alternative and show that they achieve state-of-the-art results with an order of magnitude fewer parameters. We also characterize and compare the robustness and ability of these different approaches to generalize under three different test conditions: longer time sequences, the addition of intermittent noise, and different datasets not seen during training. For the last condition, we create a new dataset, RealTalkLibri, to test source separation in real-world environments. We show that the acoustics of the environment have significant impact on the structure of the waveform and the overall performance of neural network models, with the convolutional model showing superior ability to generalize to new environments. The code for our study is available at this https URL

연구 동기 및 목표

• 모델 효율성과 일반화 능력 측면에서 컨볼루션 신경망(CNN)과 순환 신경망(RNN)을 오디오 소스 분리에 적용하여 비교한다.
• 더 긴 시퀀스, 간헐적인 노이즈, 그리고 예측할 수 없는 데이터셋 등의 도전적인 조건에서 모델 성능을 평가한다.
• 실제 세계의 다양한 음향 환경에서 일반화 능력을 테스트하기 위해 새로운 실생활 데이터셋인 RealTalkLibri를 개발하고 공개한다.
• 환경 음향이 웨이브폼 구조와 모델 성능에 미치는 영향을 조사한다.
• 더 적은 파rameter를 가진 CNN이 새로운 환경으로의 일반화 능력이 RNN보다 뛰어나다는 것을 입증한다.

제안 방법

• 연구는 엔코더-디코더 구조의 U-Net 유사 CNN 아키텍처를 사용하며, 잔차 블록을 통합하여 엔드 투 엔드 오디오 소스 분리를 수행한다.
• 모델은 재구성 오차를 최소화하기 위해 지도 학습 손실 함수를 사용하여 LibriCSS 데이터셋에서 훈련된다.
• 강건성 평가를 위해 훈련 중에 보지 못한 더 긴 테스트 시퀀스에서 성능을 테스트하여 실시간 추론 시나리오를 시뮬레이션한다.
• 간헐적인 노이즈 버스트 형태로 노이즈를 도입하여 비정상적인 간섭에 대한 내성 능력을 평가한다.
• 일반화 능력을 평가하기 위해 실생활 실내 음향과 말투의 다양성을 반영한 RealTalkLibri 데이터셋을 사용한다.
• SDR, SIR, SAR 등의 지표를 사용하여 모든 조건에서 강력한 RNN 베이스라인과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 컨볼루션 신경망(CNN)은 순환 신경망(RNN)보다 훨씬 적은 파rameter로 최신 기술 수준의 오디오 소스 분리 성능을 달성할 수 있는가?
• RQ2 CNN과 RNN 모델은 훈련 길이를 초월한 더 긴 오디오 시퀀스로 일반화될 수 있는가?
• RQ3 간헐적인 노이즈는 CNN과 RNN 모델의 소스 분리 성능에 어떤 영향을 미치는가?
• RQ4 합성 데이터에서 훈련된 모델이 실제 세계의 음향 환경으로 일반화되는 정도는 어느 정도인가?
• RQ5 환경 음향은 소스 분리 작업에서 웨이브폼 구조와 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CNN 모델은 RNN 베이스라인보다 파rameter 수가 10배 이상 적은 상태에서 오디오 소스 분리 최신 기술 수준의 성능을 달성한다.
• CNN 모델은 훈련 길이를 초월한 더 긴 테스트 시퀀스로 일반화 능력이 뛰어나며, 훈련 길이를 초월해도 높은 성능을 유지한다.
• CNN 모델은 간헐적인 노이즈에 대해 뛰어난 강건성을 보이며, 비정상적인 간섭 상황에서도 소스 분리 품질을 유지한다.
• RealTalkLibri 데이터셋은 환경 음향이 웨이브폼 구조에 강력한 영향을 미치며, 특히 RNN 모델의 성능을 저하시킨다는 것을 드러낸다.
• CNN 모델은 예측할 수 없는 실생활 환경으로의 일반화 능력이 뛰어나며, RealTalkLibri 벤치마크에서 RNN을 능가한다.
• 연구는 실제 세계의 음향 환경이 모델 일반화에 결정적인 요소이며, CNN이 이러한 변동에 더 강건하다는 것을 확인한다.