[논문 리뷰] NICE-Beam: Neural Integrated Covariance Estimators for Time-Varying Beamformers

Jonah Casebeer, Jacob Donley외 3명|arXiv (Cornell University)|2021. 12. 08.

Speech and Audio Processing인용 수 7

한 줄 요약

NICE-Beam은 이동하는 마이크 배열에서 시간에 따라 변화하는 공간 통계를 추적하기 위해 순환 신경망을 사용하는 신경 공분산 추정기로, 음향 방향성 기반 파ip라인과 통합되어 실시간으로 음성 향상 및 리버버버레이션 제거를 수행한다. 이는 수동으로 튜닝된 추정기조차도 초월하며, 자세 변화에 대해 강건한 비선형 동역학을 학습함으로써 실시간, 종단 간 훈련을 달성한다.

ABSTRACT

Estimating a time-varying spatial covariance matrix for a beamforming algorithm is a challenging task, especially for wearable devices, as the algorithm must compensate for time-varying signal statistics due to rapid pose-changes. In this paper, we propose Neural Integrated Covariance Estimators for Beamformers, NICE-Beam. NICE-Beam is a general technique for learning how to estimate time-varying spatial covariance matrices, which we apply to joint speech enhancement and dereverberation. It is based on training a neural network module to non-linearly track and leverage scene information across time. We integrate our solution into a beamforming pipeline, which enables simple training, faster than real-time inference, and a variety of test-time adaptation options. We evaluate the proposed model against a suite of baselines in scenes with both stationary and moving microphones. Our results show that the proposed method can outperform a hand-tuned estimator, despite the hand-tuned estimator using oracle source separation knowledge.

연구 동기 및 목표

• 이동하는 마이크 배열에서 시간에 따라 변화하는 공간 공분산 행렬을 추정하는 문제에 대응하기 위해.
• 시간적 및 공간적 정보를 통합하여 향상된 음향 방향성 성능를 위한 학습 가능한 비선형 공분산 추정기를 개발하기 위해.
• 공분산 행렬의 역행렬 계산으로 인한 수치적 불안정성 문제를 피하면서도 음향 방향성 파이프라인의 종단 간 훈련을 가능하게 하기 위해.
• 웨어러블 기기에서 저비용의 계산 부담으로 실시간, 테스트 시점에서의 적응이 가능한 추론을 보장하기 위해.
• 다양한 운동 프로파일과 공간적 변화 환경에서 전통적인 수동 튜닝된 추정기보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 수치적 불안정성 문제를 피하기 위해 직접적으로 공간 공분산 행렬의 역행렬을 추정하는 순환 신경망(RNN)을 훈련한다.
• 다중채널 STFT 특징과 시간에 걸친 자세 및 환경 정보를 처리하여 동적인 공간 통계를 모델링한다.
• 하나의 단일채널 향상 모듈과 별도의 공분산 추정을 사용하는 음향 방향성 기반 모듈을 포함하는 하이브리드 DNN-DSP 음향 방향성 파이프라인에 통합한다.
• 음성 품질 향상과 리버버버레이션 제거를 최적화하기 위해 미분 가능한 손실 함수를 사용하여 종단 간 훈련을 수행한다.
• 재훈련 없이도 마스크, 지연, 해상도를 수정하여 테스트 시점 적응을 지원한다.
• 기존의 선형 평균화 방법과 달리 빠르게 자세 변화에 적응하는 시간에 따라 변화하는 공간 공분산 모델을 활용한다.

실험 결과

연구 질문

• RQ1 학습 기반 추정기가 시간에 따라 변화하는, 자세가 빠르게 변화하는 환경에서 수동 튜닝된 비학습 기반 추정기보다 우월한가?
• RQ2 RNN 기반 신경 공분산 추정기는 시간에 따라 변화하는 공간 통계를 얼마나 효과적으로 추적하는가?
• RQ3 공분산 행렬이 아닌 공분산 역행렬을 기반으로 하여 음향 방향성 파이프라인의 종단 간 훈련이 안정화되는가?
• RQ4 학습된 추정기는 어떤 정도 다양한 운동 프로파일과 배열 구성 간에서 일반화되는가?
• RQ5 모듈러하고 테스트 시점에서 적응 가능한 아키텍처 덕분에 하드웨어 고장이나 부분적인 신호 손실 상황에서도 성능을 유지할 수 있는가?

주요 결과

• NICE-Beam은 정적 및 이동 중 마이크 배열 환경에서 모두 수동 튜닝된 추정기(오라클 소스 분리 정보를 제공받는 경우조차도)를 능가한다.
• 낮은 계산 부담으로 실시간 초과 속도의 추론 성능를 달성하여 실시간 웨어러블 응용 분야에 적합하다.
• 모듈러하고 테스트 시점에서 적응 가능한 아키텍처 덕분에 하드웨어 고장에 대해 강건함을 입증한다.
• 신경 추정기에게 추가적인 환경 또는 자세 정보를 제공할수록 성능 향상이 이루어지며, 이는 맥락 정보를 효과적으로 활용할 수 있음을 시사한다.
• 종단 간 훈련 방식이 기존 음향 방향성 파이프라인에서 흔히 발생하는 수치적 불안정성 문제를 성공적으로 방지한다.
• 다양한 운동 프로파일 간에서 잘 일반화되며, 높은 청각적 및 객관적 음성 품질 지표를 유지한다.