[논문 리뷰] DBNET: DOA-driven beamforming network for end-to-end farfield sound source separation

Ali Aroudi, Sebastian Braun|arXiv (Cornell University)|2020. 10. 22.

Speech and Audio Processing참고 문헌 24인용 수 6

한 줄 요약

이 논문은 원거리 음원 분리용 엔드투엔드 딥러닝 프레임워크인 DBNet을 제안한다. DBNet은 지도 학습이 필요한 진도각(DoA) 애너테이션 없이도 DoA 추정과 빔포밍을 통합한다. 음성 신호 재구성 손실만으로 학습함으로써 소스 방향을 추정하고 잡음을 억제하며, 특히 컨volutional-recurrent 후처리 마스킹 네트워크와 조합할 경우 고리버버레이션 및 높은 노이즈 환경에서 최신 기술(SOTA) 수준의 SIR 및 PESQ 성능 향상을 달성한다.

ABSTRACT

Many deep learning techniques are available to perform source separation and reduce background noise. However, designing an end-to-end multi-channel source separation method using deep learning and conventional acoustic signal processing techniques still remains challenging. In this paper we propose a direction-of-arrival-driven beamforming network (DBnet) consisting of direction-of-arrival (DOA) estimation and beamforming layers for end-to-end source separation. We propose to train DBnet using loss functions that are solely based on the distances between the separated speech signals and the target speech signals, without a need for the ground-truth DOAs of speakers. To improve the source separation performance, we also propose end-to-end extensions of DBnet which incorporate post masking networks. We evaluate the proposed DBnet and its extensions on a very challenging dataset, targeting realistic far-field sound source separation in reverberant and noisy environments. The experimental results show that the proposed extended DBnet using a convolutional-recurrent post masking network outperforms state-of-the-art source separation methods.

연구 동기 및 목표

• 딥러닝을 활용해 DoA 추정과 빔포밍을 통합한 엔드투엔드 다중채널 음원 분리 시스템을 개발한다.
• 지도 학습이 필요한 DoA 애너테이션 없이도 음성 신호 재구성 손실만으로 학습함으로써 DoA 추정을 엔드투엔드로 수행할 수 있도록 한다.
• 빔포밍 및 후처리 마스킹 모듈을 엔드투엔드로 최적화하여 고리버버레이션 및 높은 노이즈 환경에서의 분리 성능을 향상시킨다.
• 10미터까지의 소스 거리를 고려한 실제와 유사한 대규모 데이터셋을 활용해 프레임워크를 평가한다.

제안 방법

• DBNet은 주파수 도메인에서 다중채널 마이크 신호를 처리하기 위해 STFT, DoA 추정, 빔포밍, iSTFT 계층을 스택하여 구성한다.
• 네트워크는 지도 학습이 필요한 DoA 레이블 없이도 복소수 스펙트럼 거리(cMSE)와 같은 신호 기반 손실 함수를 사용하여 학습된다.
• 후처리 마스킹 네트워크(pMnet)는 엔드투엔드 확장으로 도입되며, 컨볼루션-순환 인코더-디코더 아키텍처를 사용해 빔포밍 출력을 정밀하게 개선한다.
• pMnet는 매그니튜드, 복소수 스펙트럼 또는 병합된 거리 손실을 사용하여 잔여 노이즈 억제를 향상시킨다.
• 일반화 성능 향상을 위해 대규모 및 증강된 훈련 데이터셋을 합성한다.
• 전체 시스템은 엔드투엔드로 최적화되어 있으며, 시간 도메인 출력 신호에서 입력 마이크 신호로의 기울기 전파가 가능하다.

실험 결과

연구 질문

• RQ1 지도 학습이 없는 DoA 기반 빔포밍을 엔드투엔드로 학습시킬 수 있는가?
• RQ2 리버버레이션 및 노이즈 환경에서 후처리 마스킹 네트워크의 통합이 음원 분리 성능에 어떤 영향을 미치는가?
• RQ3 음성 품질과 분리 정확도 사이의 최적 균형을 이룰 수 있는 손실 함수 구성은 무엇인가?
• RQ4 네트워크 아키텍처 선택(순환 대비 컨볼루션-순환)이 도전적인 음향 조건에서 성능에 어떤 영향을 미치는가?

주요 결과

• 컨볼루션-순환 후처리 마스킹 네트워크를 갖춘 DBnet(DBnet(CR)-Mnet(CR))이 6.86 dB의 최고 SIR 향상을 달성하여 기존 최신 기술을 크게 능가했다.
• Mnet(CR) 기반선에서의 SDR 향상 26.15 dB가 최고의 DBnet 확장에서 유지되거나 초월되었으며, PESQ 향상도 0.21을 기록했다.
• 지도 학습이 없는 DoA 레이블로도 학습이 효과적이었으며, DBnet(CR)은 1.26 dB의 SIR 향상을 달성하여 신호 재구성만으로도 DoA 추정을 엔드투엔드로 학습할 수 있음을 입증했다.
• cMSE 손실 함수가 가장 뛰어난 성능을 보였으며, 복소수 스펙트럼 거리(α=1)가 매그니튜드 전용 손실(α=0)보다 모든 지표에서 뛰어났다.
• DoA 추정 및 후처리 마스킹 양쪽 모두에서 컨볼루션-순환 아키텍처가 핵심이었으며, 순환 전용 변형은 SIR 및 PESQ 성능이 저하되는 것을 확인했다.
• DBnet(CR)-Mnet(CR) 구성에서 SDR 향상 24.11 dB, SIR 향상 6.86 dB를 달성하여 실제 환경에서 강력한 노이즈 및 리버버레이션 억제 능력을 입증했다.