[論文レビュー] AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis

Susan Liang, Chao Huang+3 more|arXiv (Cornell University)|Feb 4, 2023

Music and Audio Processing被引用数 6

ひとこと要約

AV-NeRF は、実世界の動画記録から現実的な音声・視覚シーンを合成するための新しい NeRF ベースのフレームワークを提案する。音声認識型音声生成と幾何学的認識型音響伝搬、音源中心の座標変換を統合している。実世界データセット（RWAVS）および合成データセット（SoundSpaces）の両方で最先端の性能を達成し、音声品質指標において従来手法を最大39%上回っている。

ABSTRACT

Can machines recording an audio-visual scene produce realistic, matching audio-visual experiences at novel positions and novel view directions? We answer it by studying a new task -- real-world audio-visual scene synthesis -- and a first-of-its-kind NeRF-based approach for multimodal learning. Concretely, given a video recording of an audio-visual scene, the task is to synthesize new videos with spatial audios along arbitrary novel camera trajectories in that scene. We propose an acoustic-aware audio generation module that integrates prior knowledge of audio propagation into NeRF, in which we implicitly associate audio generation with the 3D geometry and material properties of a visual environment. Furthermore, we present a coordinate transformation module that expresses a view direction relative to the sound source, enabling the model to learn sound source-centric acoustic fields. To facilitate the study of this new task, we collect a high-quality Real-World Audio-Visual Scene (RWAVS) dataset. We demonstrate the advantages of our method on this real-world dataset and the simulation-based SoundSpaces dataset.

研究の動機と目的

• 実世界の記録から新たなカメラポーズにおける一貫性があり没入感のある音声・視覚シーンの合成に挑む。
• 距離減衰や頭部方向依存のバイナリナルヒューリングを反映した空間的音響をモデル化する。
• 視覚的幾何学と材料特性を音響フィールド学習と統合したマルチモーダル神経フィールドを構築し、より現実的な表現を向上させる。
• 本研究のタスクを支援するため、高品質な実世界の音声・視覚データセット（RWAVS）を構築・公開する。
• 実環境および合成環境の両方で、提案手法が従来のベースラインを上回ることを示す。

提案手法

• AV-NeRF は二重ブランチアーキテクチャを採用：V-NeRF は視覚レンダリングを、A-NeRF はリスナーの位置と頭部方向に基づく連続音響フィールドの学習を担当する。
• AV-Mapper モジュールが V-NeRF からの幾何学的および材料的特徴を A-NeRF に統合し、物理的音響伝搬を尊重する音声認識型音声生成を実現する。
• 視点の方向を音源に対して相対的に表現する座標変換機構により、音源中心の音響フィールド学習が可能になる。
• 位置符号化の代わりに相対的角の埋め込みを用いることで、方向音響認識をよりよく捉える。
• 音声合成は 3D シーンの幾何学的形状と材料特性に条件付けられており、距離に依存するおよび方向に依存するバイナリナル音声生成を可能にする。
• フレームワークは、実世界記録からの動画フレーム、カメラポーズ、バイナリナル音声を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 神経フィールドモデルは、実世界の音声・視覚シーンにおいて、新たなカメラトラジェクトリに沿って一貫性があり現実的なバイナリナル音声と映像を生成できるか？
• RQ2 音響伝搬の物理的原則（エネルギー減衰、頭関連伝達関数など）を神経レンダリングフレームワークに統合する方法は何か？
• RQ3 音響フィールド学習において、座標を絶対座標ではなく音源を基準とした相対的方位で表現することは、どのような影響を及ぼすか？
• RQ4 視覚的幾何学と材料情報のマルチモーダル統合は、音声合成品質にどのような向上効果をもたらすか？
• RQ5 1つの神経フィールドが、多様な屋内・屋外環境にわたり、視覚的および空間的音響コンテンツをどれほど包括的に表現できるか？

主な発見

• AV-NeRF は、MAG 音声品質指標において、前回の SOTA メソッド INRAS より 39% の相対的改善を達成（0.956 対 1.504）、ENV 指標でも 11.6% の改善を示した。
• SoundSpaces データセットでは、T60 指標が INRAS に対して 21% 減少し、2.47 にまで低下（INRAS は 3.14）。
• ViGAS よりも MAG で 1.504、ENV で 0.145 の改善を示し、視点の多様性にわたる優れた一般化性能を示した。
• アブレーションスタディにより、AV-Mapper および座標変換の両方が重要であることが確認され、それらを除去すると音声品質が著しく低下した。
• 相対的角の埋め込みが、絶対座標または相対座標の位置符号化よりも優れており、知覚的に意味のある音響表現の重要性を示している。
• 視覚的および定量的分析により、モデルが生成するバイナリナル音声の信号包絡線と左右音響差（ILD）が、真値と密接に一致していることが確認された。