[논문 리뷰] Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields

Susan Liang, Chao Huang외 3명|arXiv (Cornell University)|2023. 09. 27.

Speech and Audio ProcessingComputer Science인용 수 3

한 줄 요약

이 논문은 실내 기하학, 재질 특성, 공간적 관계와 같은 음향적 맥락을 모델링하여 고해상도 방 임펄스 응답(RIR)을 생성하는 새로운 암묵적 신경장 방법인 신경 음향 맥락 필드(NACF)를 제안한다. RIR의 비연속적인 시간 동역학을 다루기 위해 시간 상관 모듈을 통합하고, 현실적인 에너지 감쇠를 위해 다중 척도 에너지 감쇠 기준을 적용함으로써, SoundSpaces 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 T60 오차를 2.36% 감소시키고 EDT 오차를 0.014초 감소시켰다.

ABSTRACT

Room impulse response (RIR), which measures the sound propagation within an environment, is critical for synthesizing high-fidelity audio for a given environment. Some prior work has proposed representing RIR as a neural field function of the sound emitter and receiver positions. However, these methods do not sufficiently consider the acoustic properties of an audio scene, leading to unsatisfactory performance. This letter proposes a novel Neural Acoustic Context Field approach, called NACF, to parameterize an audio scene by leveraging multiple acoustic contexts, such as geometry, material property, and spatial information. Driven by the unique properties of RIR, i.e., temporal un-smoothness and monotonic energy attenuation, we design a temporal correlation module and multi-scale energy decay criterion. Experimental results show that NACF outperforms existing field-based methods by a notable margin. Please visit our project page for more qualitative results.

연구 동기 및 목표

• 실제 환경의 핵심 음향 특성을 모델링하지 못하는 기존 신경장 기반 RIR 생성 방법의 한계를 보완하기 위해.
• 신경장 프레임워크 내에서 기하학적, 재질적, 공간적 음향 맥락을 명시적으로 모델링하여 RIR 생성 정밀도를 향상시키기 위해.
• 직접 및 조기 반사파 성분에서 특히 두드러지는 비연속적인 시간 동역학을 전용 시간 상관 모듈을 사용해 포착하기 위해.
• 다양한 시간 척도에서 예측된 RIR의 에너지 감쇠가 진짜 트렌드와 일치하도록 다중 척도 에너지 감쇠 기준을 통해 학습을 감독하기 위해.
• 제한된 학습 데이터로도 강건한 성능을 달성하여 소수의 샘플로도 RIR 생성이 가능하도록 하기 위해.

제안 방법

• NACF는 발신자 및 수신자 위치를 RIR 출력으로 매핑하는 암묵적 신경장으로서, 실내 경계에서 추출한 다중 모odal 음향 맥락 특징을 활용한다.
• 음향 맥락 특징은 샘플링된 경계점에서 추출된 RGB, 깊이, 표면 재질 계수 및 공간 임bedding을 포함한다.
• 다중 모달 융합 모듈은 이러한 다양한 음향 맥락을 통합된 표현으로 통합한 후 시간에 민감한 쿼리와 결합한다.
• 시간 상관 모듈은 점점 증가하는 커널 크기를 가진 확장된 1D 컨볼루션을 사용하여 직접 및 조기 RIR 성분의 비연속적인 전이를 모델링한다.
• 다중 척도 에너지 감쇠 기준은 예측된 RIR의 에너지 감쇠가 여러 시간 척도에서 진짜 트렌드와 일치하도록 학습을 감독한다.
• 시간 쿼리에 L=10의 위치 인코딩을 적용하고, RIR 예측을 위해 스킵 연결이 있는 4층의 MLP를 사용한다.

실험 결과

연구 질문

• RQ1 암묵적 신경장이 기하학, 재질, 공간 배치와 같은 복잡한 음향 맥락을 효과적으로 모델링하여 고해상도 RIR 생성에 기여할 수 있는가?
• RQ2 신경장은 직접 및 조기 반사 성분에서 특히 두드러지는 비연속적인 시간 행동을 어떻게 모델링할 수 있는가?
• RQ3 학습 중에 다중 척도 에너지 감쇠를 강제 적용하면 생성된 RIR의 현실성과 정확도가 향상되는가?
• RQ4 제안된 방법은 제한된 학습 데이터로도 소수의 샘플 학습 설정에서 잘 일반화되는가?
• RQ5 음향 맥락과 시간 모델링의 통합이 이전의 신경장 기반 접근법을 넘어서 RIR 생성을 어떻게 향상시키는가?

주요 결과

• NACF는 T60 오차가 2.36%로 이전 SOTA 방법인 INRAS(3.14%)를 능가하여 상대적 개선률 25%를 기록했다.
• 시간 상관 모듈을 통합한 NACF는 INRAS 대비 T60 오차를 31% 상대적으로 감소시켜 시간 동역학 모델링에서 뚜렷한 성과를 보였다.
• C50 지표는 NACF에서 0.50 dB로 향상되어 INRAS(0.60 dB) 대비 18% 상대적 개선을 보였으며, 조기 반사 에너지 유지 능력 향상을 시사한다.
• EDT는 NACF에서 0.014초로 감소하여 INRAS(0.019초) 대비 26% 상대적 개선을 기록했으며, 조기 감쇠 정확도 향상을 입증한다.
• 절단 실험 결과, 음향 맥락 모듈을 제거할 경우 T60 오차는 2.96%로 증가하고 EDT는 0.0183초로 상승하여 이 모듈의 핵심적 역할을 확인한다.
• 소수의 샘플 학습 설정에서 NACF는 학습 데이터의 5%만으로도 뛰어난 성능 유지를 보이며 강력한 일반화 능력과 데이터 효율성을 입증한다.