[논문 리뷰] Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement

Zhong-Qiu Wang, Gordon Wichern외 1명|arXiv (Cornell University)|2021. 10. 01.

Speech and Audio Processing참고 문헌 45인용 수 12

한 줄 요약

이 논문은 저손실 목표 추정치(예: MVDR 빔포밍, WPE, FCP)를 추가 특징으로 활용하여 위상 및 세기 추정을 향상시키는 이단계 딥러닝 프레임워크를 제안한다. 선형적이고 저손실인 알고리즘의 위상 신뢰도를 활용함으로써, 특히 저SNR 및 리버버버런트 조건에서 음성 품질과 이해도를 크게 향상시키며, 평가 과제에서 최대 84.9%의 위상차 부호 정확도와 15.9 dB의 SI-SDR를 달성한다.

ABSTRACT

A promising approach for multi-microphone speech separation involves two deep neural networks (DNN), where the predicted target speech from the first DNN is used to compute signal statistics for time-invariant minimum variance distortionless response (MVDR) beamforming, and the MVDR result is then used as extra features for the second DNN to predict target speech. Previous studies suggested that the MVDR result can provide complementary information for the second DNN to better predict target speech. However, on fixed-geometry arrays, both DNNs can take in, for example, the real and imaginary (RI) components of the multi-channel mixture as features to leverage the spatial and spectral information for enhancement. It is not explained clearly why the linear MVDR result can be complementary and why it is still needed, considering that the DNNs and the beamformer use the same input, and the DNNs perform non-linear filtering and could render the linear filtering of MVDR unnecessary. Similarly, in monaural cases, one can replace the MVDR beamformer with a monaural weighted prediction error (WPE) filter. Although the linear WPE filter and the DNNs use the same mixture RI components as input, the WPE result is found to significantly improve the second DNN. This study provides a novel explanation from the perspective of the low-distortion nature of such algorithms, and finds that they can consistently improve phase estimation. Equipped with this understanding, we investigate several low-distortion target estimation algorithms including several beamformers, WPE, forward convolutive prediction, and their combinations, and use their results as extra features to train the second network to achieve better enhancement. Evaluation results on single- and multi-microphone speech dereverberation and enhancement tasks indicate the effectiveness of the proposed approach, and the validity of the proposed view.

연구 동기 및 목표

• 저SNR 및 리버버버런트 조건에서 위상 오차가 이해도를 떨어뜨리는 데서 비롯되는 정확한 위상 추정 문제를 해결하기 위해.
• 딥뉴럴넷의 비선형 필터링 능력에도 불구하고 선형적이고 저손실 신호 처리 방법(MVDR, WPE, FCP 등)이 딥뉴럴넷 내 특징으로 사용될 때 보완적인 이점을 제공하는 이유를 설명하기 위해.
• 저손실 추정치가 두 번째 단계 DNN이 정확한 위상차와 세기 스펙트럼을 예측하는 데 도움이 되며, 특히 도전적인 음향 환경에서 성능 향상을 이끌어내는 이유를 입증하기 위해.
• 고정된 어레이 기하학적 구조나 중복 계산에 의존하지 않고도 전통적인 선형 알고리즘과 딥러닝을 융합한 하이브리드 아키텍처의 효과성을 검증하기 위해.

제안 방법

• 프레임워크는 이단계 DNN을 사용한다: 첫 번째 네트워크는 목표 음성 추정치를 예측하며, 이를 기반으로 저손실 빔포밍(MVDR 등) 또는 선형 필터링(WPE, FCP 등) 출력을 계산한다.
• 이러한 선형적이고 저손실인 알고리즘의 출력(MVDR, WPE, FCP 등)을 두 번째 DNN의 추가 입력 특징으로 사용하여, 세기 및 위상 추정의 정밀도를 향상시킨다.
• 저손실 알고리즘이 시간 불변성과 최소위상 왜곡 특성을 지녀, 혼합 신호보다 진짜 목표 위상에 더 가까운 위상 추정치를 생성한다는 사실을 활용한다.
• 두 번째 DNN은 원래의 다중채널 혼합 신호(실수/허수 성분)와 저손실 추정치를 함께 입력 특징으로 사용하여 목표 음성을 예측하도록 훈련된다.
• 모노라우럴(WPE) 및 바이나룰/다중마icro폰(MVDR, MCWF) 구성 모두에서 평가되며, 성능을 극대화하기 위해 빔포밍 및 예측 필터의 조합이 사용된다.
• 이론적 및 실험적 분석을 통해 저손실 추정치가 고품질 음성 복원에 핵심적인 요소인 위상차 부호 예측을 향상시킴을 입증한다.

실험 결과

연구 질문

• RQ1 딥뉴럴넷의 비선형 필터링 능력에도 불구하고, MVDR 및 WPE와 같은 저손실 선형 알고리즘이 DNN 기반 음성 강화 시스템에서 특징으로 사용될 때 여전히 보완적인 성능 향상을 이끌어내는 이유는 무엇인가?
• RQ2 저손실 추정치는 특히 목표 신호와 혼합 신호 간 위상차의 부호 예측에 얼마나 기여하는가?
• RQ3 다양한 저손실 알고리즘(MVDR, WPE, FCP, MCWF 등)을 보조적 특징으로 사용했을 때, 이중단계 DNN 시스템의 성능는 어떻게 변화하는가?
• RQ4 제안된 방법은 균일한 원형 어레이 기하학 구조나 첫 번째 단계의 중복 계산에 의존하지 않고도 기존의 MISO-BF-MISO 시스템을 능가할 수 있는가?
• RQ5 저손실 추정치는 음성 품질과 이해도의 핵심 요소인 위상차 부호 예측 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• 저손실 추정치(MVDR, WPE, FCP 등)를 두 번째 DNN의 추가 특징으로 사용하면 음성 강화 성능이 크게 향상되며, 강화 과제에서 최대 15.9 dB의 SI-SDR와 20.1 dB의 pSNR를 달성한다.
• MISO 1 + MCWF + WPE + MISO 9 구성에서 84.9%의 위상차 부호 정확도(PDSAcc)를 기록하여 MISO 1 + MVDR + MISO 2(77.3% PDSAcc) 및 MISO 1 + MISO 3(72.9% PDSAcc)를 능가한다.
• 첫 번째 DNN의 출력이 이미 우수한 경우에도 저손실 추정치를 추가하면 유의미한 성능 향상이 발생한다(예: MVDR 사용 시 13.5 dB pSNR vs. 비사용 시 12.9 dB), 이는 정보의 중복성이 아님을 시사한다.
• 이 방법은 단일 마이크 및 다중마이크 작업 모두에서 뛰어난 성능을 보이며, 특히 컨volutional 빔포머와 FCP를 조합했을 때 리버버버레이션 제거에서 가장 큰 향상을 기록한다.
• 저손실 알고리즘은 신뢰할 수 있고 공격적이지 않은 강화 결과를 제공하여, DNN이 절대 위상차와 그 부호를 더 정확히 추정하는 데 도움을 준다. 특히 저SNR 영역에서 두드러진다.
• 본 연구는 새로운 해석을 제시한다: 저손실 알고리즘이 혼합 신호보다 목표 신호에 더 가까운 추정치를 생성하며, 이러한 신뢰도가 DNN의 위상 및 세기 예측 능력을 향상시킨다.