[논문 리뷰] Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks

Paul Callens, Miloš Cerňak|arXiv (Cornell University)|2020. 10. 21.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 음성 및 음악 신호에서 합성 순환 신경망(CRNN)을 사용하여 방 음향 파라미터—RT60, C50, C80, DRR—를 동시로 망각적 추정하는 방법을 제안한다. 이 방법은 최신 기술 수준의 성능을 달성하며, CRNN가 기준 모델을 능가하고 음악과 음성을 함께 학습시키는 것이 음악의 고유한 도전 과제에도 불구하고 음성 추정 정확도를 향상시킨다.

ABSTRACT

Acoustic environment characterization opens doors for sound reproduction innovations, smart EQing, speech enhancement, hearing aids, and forensics. Reverberation time, clarity, and direct-to-reverberant ratio are acoustic parameters that have been defined to describe reverberant environments. They are closely related to speech intelligibility and sound quality. As explained in the ISO3382 standard, they can be derived from a room measurement called the Room Impulse Response (RIR). However, measuring RIRs requires specific equipment and intrusive sound to be played. The recent audio combined with machine learning suggests that one could estimate those parameters blindly using speech or music signals. We follow these advances and propose a robust end-to-end method to achieve blind joint acoustic parameter estimation using speech and/or music signals. Our results indicate that convolutional recurrent neural networks perform best for this task, and including music in training also helps improve inference from speech.

연구 동기 및 목표

• 특수한 인가 응답 측정이 필요 없이 종단 간 망각적 추정을 가능하게 하기 위해.
• 음악 신호가 음성의 추정 정확도와 내성에 영향을 주는지 여부를 조사하기 위해.
• 스펙트럼 및 순차적 신호 특성을 모두 활용하는 CRNN 아키텍처를 설계하고 평가하기 위해.
• 학습 데이터 구성(음성 전용 대비 혼합 음성/음악)이 모델 일반화 및 추론 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 이 방법은 스펙트럼 특징 추출을 위한 합성곱 계층과 반복적 신호의 시간적 감쇠 동역학을 모델링하기 위한 순환 계층을 조합한 CRNN 아키텍처를 사용한다.
• 오디오 입력은 8초 간격으로 분할되고, 모델 입력을 위해 로그멜 스펙트로그램으로 변환된다.
• 실제 음향 파라미터(RT60, C50, C80, DRR)는 ISO 3382 기준에 따라 방 인가 응답(RIR)에서 계산되며, 125 Hz에서 4 kHz까지 옥타브 대역 필터링이 적용된다.
• 모델은 평균 절대 오차 손실을 사용하여 종단 간으로 네 가지 음향 파라미터를 동시에 예측하도록 훈련된다.
• 데이터 증강에는 시뮬레이션된 리버브와 노이즈가 포함되며, RT60 > 4s인 RIR은 높은 노이즈 오염으로 인해 기각된다.
• 세 가지 모델이 평가되었으며, 기준 완전 연결 네트워크와 두 가지 CRNN 변종(CRNN1 및 CRNN2)으로 구성되며, 풍부한 실험을 통해 하이퍼파라미터가 최적화되었다.

실험 결과

연구 질문

• RQ1 합성순환신경망(CRNN)이 전통적 또는 순수 합성곱 모델보다 망각적 방 음향 파라미터 추정에서 우월한 성능을 보일 수 있는가?
• RQ2 학습 데이터에 음악 신호를 포함시키면 음성 신호의 음향 파라미터 추정 정확도가 향상되는가?
• RQ3 모델 성능이 다양한 신호 유형(음성, 음악, 혼합)과 노이즈 조건에서 어떻게 변화하는가?
• RQ4 음악이 음성보다 음향 파라미터 추정에 덜 효과적인 이유는 무엇이며, 모델 성능에 영향을 주는 기본 신호 특성은 무엇인가?

주요 결과

• CRNN1 모델은 음성 신호에서 RT60 추정에 대해 평균 절대 오차(εM) 55 ms를 기록하여 기준 모델(65 ms)을 능가했으며, 상대 오차(εR)는 0.4 dB였다.
• 명료도 파라미터의 경우, CRNN1은 C50 오차를 기준 모델 대비 41에서 42(εM)로 줄였고, εR도 6.7에서 6.5로 감소시켜 일관된 향상을 보였다.
• 혼합 음성 및 음악 데이터로의 공동 학습은 음성 추정 정확도를 향상시켰다: 오디오 훈련 모델은 음성에서 RT60에 대해 50 ms εM을 달성하여 음성 전용 훈련 모델(55 ms)을 초월했다.
• 음악 전용 추정 결과는 높은 오차를 보였다(예: RT60에 대해 152 ms εM), 이는 지속적인 음과 제작 과정에서의 고유한 리버브로 인해 음악이 파라미터 추정에 덜 적합함을 시사한다.
• 노이즈에 대한 강건성은 입증되었으며, 신호 대 노이즈(SNR) 수준 15, 10, 5, 0 dB에서 각각 RT60 εM 값이 50, 49, 49, 51 ms로 일관되게 유지되었다.
• RIR 측정의 변동성에도 불구하고 모델은 일관된 성능을 유지했으며, 이는 기준 음향 파라미터의 내재된 불확실성에 대해 강건함을 시사한다.