[論文レビュー] Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields

Susan Liang, Chao Huang+3 more|arXiv (Cornell University)|Sep 27, 2023

Speech and Audio ProcessingComputer Science被引用数 3

ひとこと要約

本稿では、部屋の幾何学的形状、素材特性、空間的関係性といった音響的文脈をモデル化することで、高精細な室内インパulse応答（RIR）を生成する新しい暗黙的ニューラルフィールド手法、Neural Acoustic Context Field（NACF）を提案する。RIRの滑らかでない時間的ダイナミクスに対処するための時間相関モジュールと、現実的なエネルギー減衰を実現するためのマルチスケールエネルギー減衰基準を統合することで、SoundSpacesデータセット上で最先端の性能を達成し、T60誤差を2.36%、EDT誤差を0.014秒低減した。

ABSTRACT

Room impulse response (RIR), which measures the sound propagation within an environment, is critical for synthesizing high-fidelity audio for a given environment. Some prior work has proposed representing RIR as a neural field function of the sound emitter and receiver positions. However, these methods do not sufficiently consider the acoustic properties of an audio scene, leading to unsatisfactory performance. This letter proposes a novel Neural Acoustic Context Field approach, called NACF, to parameterize an audio scene by leveraging multiple acoustic contexts, such as geometry, material property, and spatial information. Driven by the unique properties of RIR, i.e., temporal un-smoothness and monotonic energy attenuation, we design a temporal correlation module and multi-scale energy decay criterion. Experimental results show that NACF outperforms existing field-based methods by a notable margin. Please visit our project page for more qualitative results.

研究の動機と目的

• 現存するニューラルフィールドベースのRIR生成手法が、現実の環境の重要な音響的特性をモデル化できないという限界を是正すること。
• ニューラルフィールドフレームワーク内で幾何学的、素材的、空間的音響的文脈を明示的にモデル化することで、RIR生成の忠実度を向上させること。
• 直接音と早期反射に特化した滑らかでない時間的ダイナミクスを、専用の時間相関モジュールを用いてモデル化すること。
• 複数の時間スケールにわたり、現実的なエネルギー減衰挙動を強制するためのマルチスケールエネルギー減衰基準を導入すること。
• 限られた学習データでも頑健な性能を発揮し、少数ショットRIR生成を可能にするようにすること。

提案手法

• NACFは、発信者および受信者の位置をRIR出力にマッピングする暗黙的ニューラルフィールドとして音声シーンを表現し、部屋の境界から得られるマルチモーダル音響的文脈特徴を活用する。
• 音響的文脈特徴には、RGB、深度、表面素材係数、およびサンプリングされた境界点における空間埋め込みが含まれる。
• マルチモーダル統合モジュールが、多様な音響的文脈を統一された表現に統合し、時間に依存するクエリと組み合わせる。
• 時間相関モジュールは、拡大係数が増加する1次元畳み込みを用いて、直接および早期RIR成分における滑らかでない遷移をモデル化する。
• マルチスケールエネルギー減衰基準は、予測されたRIRのエネルギー減衰を複数の時間スケールで真値のトレンドと一致させるように学習を監視する。
• 時間クエリにはL=10の位置符号化が適用され、RIR予測にはスキップ接続を備えた4層のMLPが使用される。

実験結果

リサーチクエスチョン

• RQ1 暗黙的ニューラルフィールドは、幾何学的形状、素材、空間配置といった複雑な音響的文脈を、高精細なRIR生成のために効果的にモデル化できるか？
• RQ2 ニューラルフィールドは、直接音および早期反射成分において滑らかでない時間的挙動をどのようにモデル化できるか？
• RQ3 学習中にマルチスケールエネルギー減衰を強制することで、生成されたRIRの現実性と正確性が向上するか？
• RQ4 限られた学習データで少数ショット学習設定においても、提案手法は良好に一般化できるか？
• RQ5 音響的文脈と時間的モデリングを統合することで、従来のニューラルフィールドベース手法に比べ、RIR生成がどのように向上するか？

主な発見

• NACFはT60誤差2.36%を達成し、前回SOTAのINRAS（3.14%）を上回り、相対的に25%の改善を示した。
• 時間相関モジュールを備えたNACF w/ Tは、INRASと比較してT60誤差を31%相対的に低減し、時間的ダイナミクスのモデル化における顕著な向上を示した。
• C50指標はNACFで0.50 dBに改善され、INRAS（0.60 dB）と比較して18%の相対的改善を示し、早期反射エネルギーの保持が優れていることを示した。
• EDTはNACFで0.014秒に低下し、INRAS（0.019秒）と比較して26%の相対的改善を示し、早期減衰の正確性が向上したことを示した。
• アブレーションスタディでは、音響的文脈モジュールを削除するとT60誤差が2.96%に上昇し、EDTが0.0183秒に上昇することが確認され、その重要性が強調された。
• 少数ショット学習では、学習データの5%のみでNACFが優れた性能を維持し、優れた一般化性能とデータ効率性を示した。