[논문 리뷰] Dereverberation using joint estimation of dry speech signal and acoustic system

Sanna Wager, Keunwoo Choi외 1명|arXiv (Cornell University)|2020. 07. 24.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 복소수 STFT 표현을 사용하여 반향 입력으로부터 건성 음성 신호와 실내 인력 응답(RIR)을 동시에 추정하는 공동 딥러닝 프레임워크를 제안한다. 이 방법은 직접 건성 음성 추정을 위한 U-Net과 RIR 추정을 위한 컨볼루션 모델을 조합하며, 공유된 훈련 목표를 통해 개별 모델보다 정확도를 향상시킨다. 이로써 건성 음성 작업에서 최신 기술 수준의 성능을 달성했지만, RIR 정밀도에 한계가 있음을 확인하여 향후 단계별 모델링 및 단계별 신호 처리 기반 접근이 필요하다는 점을 밝혔다.

ABSTRACT

The purpose of speech dereverberation is to remove quality-degrading effects of a time-invariant impulse response filter from the signal. In this report, we describe an approach to speech dereverberation that involves joint estimation of the dry speech signal and of the room impulse response. We explore deep learning models that apply to each task separately, and how these can be combined in a joint model with shared parameters.

연구 동기 및 목표

• 비이상적인 음향 환경에서 반향으로 인해 음성 품질이 떨어지는 단일 채널 음성 반향 제거 문제를 해결하기 위해.
• 기존의 역필터링 및 마스킹 기반 방법이 독립성 또는 짧은 지속 시간 효과를 가정한다는 점을 극복하기 위해.
• 공유된 딥러닝 파rameter를 사용하여 건성 음성 신호와 실내 인력 응답(RIR)을 공동으로 추정함으로써 성능 향상을 도모하기 위해.
• 건성 음성과 RIR을 별도로 추정하는 것보다 공동 모델링이 성능을 향상시킬 수 있는지 탐색하기 위해, 건성 음성, RIR, 반향 출력의 쌍화된 훈련 데이터를 활용한다.

제안 방법

• 반향 음성의 크기 STFT 표현을 입력으로 사용하며, 각 STFT 프레임에 대해 정규화를 적용한다.
• 직접 건성 음성 신호 추정을 위해 U-Net 아키텍처를 사용하며, 반향 입력으로부터 크기 스펙트로그램을 예측하도록 훈련한다.
• RIR 추정을 위한 별도의 컨볼루션 신경망(CNN)을 설계하였으며, 시간-주파수 격자에 대해 1차원 컨볼루션 구조를 적용하여 인력 응답의 형태를 예측한다.
• 건성 음성, RIR, 그리고 복소수를 통한 조합을 통해 생성된 반향 신호의 쌍화된 데이터를 사용하여 지도 학습 방식으로 모델을 훈련한다.
• 공동 훈련 프레임워크는 두 작업 간에 공유된 파rameter를 허용하도록 설계되어 일반화 능력과 상호 성능 향상을 목표로 한다.
• 향후 작업으로는 위상 정보 통합 및 LSTMs나 CRNNs와 같은 순차적 모델을 사용하여 RIR의 시간 동적 특성을 더 잘 포착하는 것이 포함된다.

실험 결과

연구 질문

• RQ1 딥러닝을 통한 건성 음성 신호와 실내 인력 응답(RIR)의 공동 추정이 각 성분을 별도로 추정하는 것보다 우월한가?
• RQ2 공동 모델에 공유된 파rameter를 포함시킬 경우, 독립 모델 대비 음성 반향 제거 정확도가 어떻게 향상되는가?
• RQ3 표준 컨볼루션 신경망이 날카운 초기 인력과 빠른 감쇠를 보이는 RIR을 정확히 추정하지 못하는 이유는 무엇인가?
• RQ4 U-Net 기반의 직접 음성 추정 방법은 위상 정보나 순차적 모델링을 통합함으로써 얼마나 향상될 수 있는가?
• RQ5 시간 도메인 또는 복소수 STFT 표현은 크기만을 사용하는 STFT 입력을 초월해 RIR 추정 성능을 향상시킬 수 있는가?

주요 결과

• U-Net 모델은 반향 입력에서 건성 음성 신호를 직접 추정하는 데 있어 최신 기술 수준의 성능을 달성했으며, 완전 연결 및 Bi-GRU 아키텍처를 능가했다.
• Bi-GRU 모델은 순차적 모델링 능력은 있었지만, 심각한 아티팩트를 유발하여 실용적 사용에 부적합하다고 판단되었다.
• RIR 추정을 위한 컨볼루션 모델은 정확한 감쇠 에너지 분포를 보였지만, 초기 날카운 인력의 정밀도가 떨어져 아키텍처적 한계를 드러냈다.
• 표준 CNN은 에너지를 작은 시간 창에 집중시켜야 하는 요구사항을 충족시키지 못해 RIR 추정에 있어 본질적으로 어려운 과제로 간주된다. 일반적인 DNN 활성화 함수는 이러한 구조를 잘 포착하지 못한다.
• 저자들은 위상 정보와 순차적 모델링(LSTMs 또는 CRNNs 등)이 RIR 추정 향상에 핵심적임을 확인하였으며, 향후 연구에서 이를 탐색할 계획이다.
• RIR를 유사한 그룹으로 묶고 그룹 크기를 제한함으로써 균형 잡힌 훈련, 검증, 테스트 세트를 유지하는 데 기여하였다.