[論文レビュー] Structure from Silence: Learning Scene Structure from Ambient Sound

Ziyang Chen, Xixi Hu+1 more|arXiv (Cornell University)|Nov 10, 2021

Music and Audio Processing被引用数 11

ひとこと要約

本稿では、静かな屋内シーンにおける環境音が、3次元シーン構造に関する顕著な情報を伝え、音声のみによる深度推定およびマルチモーダル自己教師付き表現学習を可能にすると提案している。新たに収集された『Quiet Campus』データセット（音声とRGB-Dのペア記録）を用いて、著者らは音声のみから相対的な壁までの距離を推定できること、また自己教師付き学習によって有用な視覚・音声特徴を学習できることを実証した。特に、低周波成分（0–1000 Hz）が構造認識において最も情報量が多いことが示された。

ABSTRACT

From whirling ceiling fans to ticking clocks, the sounds that we hear subtly vary as we move through a scene. We ask whether these ambient sounds convey information about 3D scene structure and, if so, whether they provide a useful learning signal for multimodal models. To study this, we collect a dataset of paired audio and RGB-D recordings from a variety of quiet indoor scenes. We then train models that estimate the distance to nearby walls, given only audio as input. We also use these recordings to learn multimodal representations through self-supervision, by training a network to associate images with their corresponding sounds. These results suggest that ambient sound conveys a surprising amount of information about scene structure, and that it is a useful signal for learning multimodal features.

研究の動機と目的

• 現実世界の静かな屋内シーンにおける環境音が、3次元シーン幾何構造に関する情報を伝えているかどうかを調査すること。
• 受動的でエコーのない音声特徴を用いて、壁までの距離を推定する音声のみの深度推定モデルを開発すること。
• 環境音がマルチモーダル視覚・音声表現を学ぶための自己教師信号として機能するかどうかを検討すること。
• 音声のみの信号を用いて、未確認の環境において壁に沿ったナビゲーションを実現するロボットの実現可能性を評価すること。

提案手法

• 大学キャンパスの静かな屋内シーンから、音声とRGB-D記録のペアを収集した、新規の野外データセットを構築した。
• メルスペクトログ램を入力とし、距離回帰を目的関数とする音声のみのモデルを訓練し、壁までの相対的深度を予測した。
• 視覚的文脈に基づいて、2つの音声クリップの相対的深度順序を予測する自己教師付きの事前学習タスクを設計した。
• 対照的学習を用いて、明示的なアノテーションなしにモダリティ間の特徴を一致させる音声視覚エンコーダーを訓練した。
• ゼロショットおよび微調整プロトコルを用いて、下流の深度推定およびロボットナビゲーションタスクでモデルを評価した。
• 周波数帯域を音声入力からマスクすることで、どのスペクトル成分が最も情報量が多いかを特定するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 静かな屋内環境における環境音は、壁までの距離といった3次元シーン構造を推定するための信頼できる手がかりを提供できるか？
• RQ2 音声のみのモデルは、未確認の環境において深度推定にどの程度一般化可能か？
• RQ3 音声視覚相関を用いた自己教師学習は、下流のマルチモーダル表現学習を改善できるか？
• RQ4 環境音のどの周波数帯域がシーン構造認識において最も情報量が多いか？
• RQ5 音声ベースの深度推定は、壁に沿ったナビゲーションタスクをロボットが実行するのを支援できるか？

主な発見

• 音声のみのモデルは、相対的深度推定において競争力のある性能を達成しており、低周波成分（0–1000 Hz）が正確な予測に十分であることが示された。
• 自己教師付き音声視覚表現学習アプローチは、下流タスクでの深度推定性能を向上させ、微調整によって4%のAP向上（70.0% vs. 65.6%）を達成した。
• 音声ベースの深度モデルで制御されるロボットは、8mのコーナー付きの通路を18回の試行のほぼ半数（約50%）で正常にナビゲートした。これは、ランダムおよび直線移動ポリシーを上回る性能であった。
• AV-Order自己教師学習手法は、AV-Syncおよび他のベースラインを上回り、相対的深度順序が強力な教師信号であることが示された。
• 高周波成分をマスクしてもモデルの性能が著しく低下せず、低周波音場が構造的情報を最も多く保持していることが確認された。
• 視覚モデルはナビゲーションで音声モデルを上回ったが、視覚が劣化した状況下でも、音声は低コストで実用的なバックアップ信号を提供できることが示された。