[論文レビュー] BatVision: Learning to See 3D Spatial Layout with Two Ears

Jesper Haahr Christensen, Sascha Hornauer+1 more|arXiv (Cornell University)|Dec 15, 2019

Bat Biology and Ecology Studies参考文献 23被引用数 6

ひとこと要約

BatVision は、同期音声およびステレオカメラデータでトレーニングされたニューラルネットワークを用いて、音響エコーのみから3次元空間的レイアウト（深度マップやグレースケール画像）を再構築することを学習する低コストで二耳のバイノラルシステムである。このシステムは、驚くほど正確な深度予測と現実的なシーン再構築を達成しており、一部の状況では真値ステレオ深度を上回ることさえある。

ABSTRACT

Many species have evolved advanced non-visual perception while artificial systems fall behind. Radar and ultrasound complement camera-based vision but they are often too costly and complex to set up for very limited information gain. In nature, sound is used effectively by bats, dolphins, whales, and humans for navigation and communication. However, it is unclear how to best harness sound for machine perception. Inspired by bats' echolocation mechanism, we design a low-cost BatVision system that is capable of seeing the 3D spatial layout of space ahead by just listening with two ears. Our system emits short chirps from a speaker and records returning echoes through microphones in an artificial human pinnae pair. During training, we additionally use a stereo camera to capture color images for calculating scene depths. We train a model to predict depth maps and even grayscale images from the sound alone. During testing, our trained BatVision provides surprisingly good predictions of 2D visual scenes from two 1D audio signals. Such a sound to vision system would benefit robot navigation and machine vision, especially in low-light or no-light conditions. Our code and data are publicly available.

研究の動機と目的

• バットエコロケーションにインspiredされた低コストでモバイルなシステムを構築し、バイノラル音響エコーから3次元空間的レイアウトを推定すること。
• 生の音声信号のみから視覚的シーン（深度マップおよびグレースケール画像）を予測するための深層ニューラルネットワークをトレーニングすること。
• 視覚センサが機能しない低照度または完全に暗い環境における機械的認識を可能にすること。
• 人工ピンナを装備した2つのシンプルなマイクが、学習された音声から視覚へのマッピングを通じて高品質な空間再構築を達成できることを示すこと。
• 実世界のロボットアプリケーションに向けた埋め込みプラットフォームへの展開を可能にするシステムの構築

提案手法

• システムは、短い周波数変調 chirps を発信するスピーカーと、人工的ヒトのピンナに埋め込まれた2つのマイクを用いてバイノラルエコーを捕捉する。
• トレーニング中、同期ステレオカメラデータが教師あり学習のための真値深度マップおよびグレースケール画像を提供する。
• 音声エンコーダとUNetベースのジェネレータを組み合わせたニューラルネットワークアーキテクチャを用いて、バイノラル波形またはスペクトログラムから視覚的出力をマッピングする。
• 多スケール損失にL1正則化とピクセル単位のGANを用いた adversarial training を組み合わせ、知覚的品質を向上させる。
• 音声エンコーダは生波形またはスペクトログラムを処理し、初期段階、遅延段階、または中間段階での特徴統合を実施する。
• 最終的な目的関数は adversarial loss と L1 再構成損失の組み合わせであり、$\min_{G}\max_{D}\frac{1}{2}\mathcal{L}_{GAN}(D)+\mathcal{L}_{GAN}(G)+\lambda\mathcal{L}_{L_{1}}(G)$ となる。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムは、バイノラル音響信号のみから正確に3次元空間的レイアウトを再構築できるか？
• RQ2 音声とステレオビジョンデータでトレーニングされたニューラルネットワークは、音声からの深度マップおよび視覚的シーンをどの程度正確に予測できるか？
• RQ3 低照度または複雑な屋内環境において、従来のステレオビジョンに比べてどの程度優れた性能を示すか？
• RQ4 リバーブやごみだらけの空間では、音響ベースのシーン再構築にどのような制限があるか？
• RQ5 人工ピンナを装備したシンプルな2マイクセットアップは、より複雑なバイオエコロケーションシステムと同等の性能を達成できるか？

主な発見

• 128×128解像度で、スペクトログラム入力と初期融合を用いたUNetジェネレータを用いた場合、深度マップ予測のテスト損失は 0.0773 であった。
• 128×128解像度で、GAN強化モデルは深度マップのL1損失を 0.0742 に、グレースケール画像のL1損失を 0.1841 にまで低減し、詳細と明瞭性が向上した。
• 細部のオブジェクト情報がなくても、床のレイアウトや壁の配置が妥当に再構築されており、音響とシーン構造の間の統計的相関を効果的に捉えていることが示された。
• 一部のケースでは、音声からの深度予測がステレオビジョンの真値を上回っており、特にテクスチャが少なく、視差推定が困難な領域で顕著であった。
• 短距離の多重パスエコー、および高リバーブ性やごみだらけの環境（密度の高い家具がある会議室など）では、システムの性能が著しく低下する。
• エコーの重なりや信号吸収のため、接近または複雑なオブジェクトでは再構築に失敗する。これは図8の失敗事例で確認できる。