[논문 리뷰] W-Net BF: DNN-based Beamformer Using Joint Training Approach

Yuichiro Koyama, Bhiksha Raj|arXiv (Cornell University)|2019. 10. 31.

Speech and Audio Processing참고 문헌 28인용 수 4

한 줄 요약

이 논문은 마스크 기반 방법의 일반화 능력과 직접 필터 추정 방식의 필터 최적성 특성을 결합하기 위해 소음 마스크 기반 참조 추정기와 비음향 필터 추정기를 공동으로 훈련하는 DNN 기반 비음향 필터기인 W-Net BF를 제안한다. 정적 및 이동하는 소음원에서 평가한 결과, W-Net BF는 SNR, SDR, STOI, PESQ 지표에서 U-Net BF와 BLSTM-GEV를 모두 능가하여 공간적으로 비정상적인 소음에 대해 뛰어난 강건성을 입증한다.

ABSTRACT

Acoustic beamformers have been widely used to enhance audio signals. The best current methods are DNN-powered variants of the generalized eigenvalue beamformer, and DNN-based filterestimation methods that directly compute beamforming filters. Both approaches, while effective, have blindspots in their generalizability. We propose a novel approach that combines both approaches into a single framework that attempts to exploit the best features of both. The resulting model, called a W-Net beamformer, includes two components: the first computes a noise-masked reference which the second uses to estimate beamforming filters. Results on data that include a wide variety of room and noise conditions, including static and mobile noise sources, show that the proposed beamformer outperforms other methods in all tested evaluation metrics.

연구 동기 및 목표

• 단지 마스크 추정 또는 직접 필터 추정에 의존하는 기존 DNN 기반 비음향 필터기의 일반화 한계를 해결하기 위해.
• 마스크 기반 방법의 강건성과 필터 추정 방식의 필터 효율성을 활용하는 통합 프레임워크를 개발하기 위해.
• 특히 이동하는 소음원이 있는 비정상적인 음향 환경에서의 성능 향상을 위해.
• 공동 훈련이 비음향 필터기의 일반화 능력과 강건성 향상에 미치는 영향을 검증하기 위해.

제안 방법

• W-Net BF 아키텍처는 두 단계로 구성된다: DNN를 사용해 소음 마스크가 적용된 스펙트로그램을 생성하는 参조 추정 모듈과, 이 참조를 바탕으로 최적의 필터를 계산하는 비음향 필터 추정 모듈.
• 모델은 두 모듈을 동시에 최적화할 수 있도록 공동 엔드 투 엔드 훈련을 적용하여 참조 추정과 필터 학습 간의 보다 우아한 정렬을 가능하게 한다.
• 참조 추정 모듈은 소음 및 음성 성분에 대한 시간-주파수 마스크를 예측하기 위해 U-Net 유사한 인코더-디코더 구조를 사용한다.
• 필터 추정 모듈은 시간-주파수 도메인에서 복소수 필터를 예측하기 위해 완전 컨volution 네트워크를 사용한다.
• 손실 함수는 SNR 최대화와 마스크 예측 목표를 결합하여 두 구성 요소의 공동 최적화를 가능하게 한다.
• 다양한 방음 응답, 음성 소스, 정적/이동 소음 소스를 포함한 시뮬레이션 데이터로 훈련되며, 이동 소음 시나리오에 대한 토닝이 수행된다.

실험 결과

연구 질문

• RQ1 마스크 기반과 필터 추정 기반 DNN 비음향 필터기의 장점을 조합하는 공동 훈련 프레임워크가 비음향 필터기 성능 향상에 기여할 수 있는가?
• RQ2 비정상적인 소음 환경에서, 별도의 마스크 기반 또는 필터 추정 모델보다 W-Net BF 아키텍처가 더 뛰어난 일반화 성능를 보일 수 있는가?
• RQ3 참조 추정과 필터 학습의 공동 최적화가 이동하는 소음원에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 SNR, SDR, STOI, PESQ 측면에서 W-Net BF는 기존 최첨단 비음향 필터기보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 정적 데이터셋에서 W-Net BF는 평균 SNR 14.2 dB를 기록하여 U-Net BF(13.5 dB)와 BLSTM-GEV(12.8 dB)를 모두 능가한다.
• 이동 데이터셋에서 W-Net BF는 SNR 13.0 dB를 기록하여 BLSTM-GEV(11.5 dB)보다 뚜렷이 뛰어나 이동하는 소음원에 대한 처리 능력이 뛰어나다는 것을 입증한다.
• 정적 데이터셋에서 W-Net BF는 평균 SDR 10.1 dB를 기록하여 U-Net BF(9.3 dB)와 BLSTM-GEV(8.6 dB)를 초월하여 향상된 신호에서의 왜곡 감소를 나타낸다.
• 공동 훈련 구성 요소(W-Net BF 대 W-Net BF†)는 SNR에서 0.7 dB, SDR에서 0.8 dB 향상되어 엔드 투 엔드 최적화의 유용성을 확인한다.
• 이동 소음 데이터로 토닝된 W-Net BF-m는 이동 데이터셋에서 SNR 12.5 dB를 기록하여 공동 학습이 동적 소음 조건에 대한 적응을 가능하게 한다는 것을 보여준다.
• 정적 데이터셋에서 모델은 STOI 점수 0.85와 PESQ 2.7를 기록하여 높은 음성 가독성과 청취 품질을 나타낸다.