[論文レビュー] BatVision with GCC-PHAT Features for Better Sound to Vision Predictions

Jesper Haahr Christensen, Sascha Hornauer+1 more|arXiv (Cornell University)|Jun 14, 2020

Speech and Audio Processing参考文献 8被引用数 5

ひとこと要約

本稿では、一般化自己相関（GCC-PHAT）特徴を入力とし、残差内に残差を組み込んだ畳み込みブロックとスペクトル正規化を組み合わせることで、バイナリナルエコーサインアルからの深度マップおよびグレースケール画像再構成を向上させる、拡張された音声から視覚への変換システムBatVisionを提案する。本手法は、生波形やスペクトログラムと比較して、優れた再構成品質と安定した学習を達成し、アーティファクトを低減し、知覚的忠実度を向上させることで、音声のみによるシーン認識の可能性を示している。

ABSTRACT

Inspired by sophisticated echolocation abilities found in nature, we train a generative adversarial network to predict plausible depth maps and grayscale layouts from sound. To achieve this, our sound-to-vision model processes binaural echo-returns from chirping sounds. We build upon previous work with BatVision that consists of a sound-to-vision model and a self-collected dataset using our mobile robot and low-cost hardware. We improve on the previous model by introducing several changes to the model, which leads to a better depth and grayscale estimation, and increased perceptual quality. Rather than using raw binaural waveforms as input, we generate generalized cross-correlation (GCC) features and use these as input instead. In addition, we change the model generator and base it on residual learning and use spectral normalization in the discriminator. We compare and present both quantitative and qualitative improvements over our previous BatVision model.

研究の動機と目的

• バイナリナルエコーサインのみを用いて3次元深度マップと妥当なグレースケールレイアウトを予測する機械学習システムの開発。
• GCC-PHAT特徴が、音声から視覚への生成に際して、生波形やスペクトログラムよりも優れているかどうかの調査。
• 残差内に残差を組み込んだ畳み込みブロックやスペクトル正規化といったアーキテクチャ的革新を通じて、学習の安定性と再構成品質の向上。
• 視覚とは補完的または代替的となるモダリティとして、特に低照度条件下における音声のみによるシーン認識の可能性の提示。

提案手法

• システムは、訓練中にカメラで同時に取得されたステレオRGBおよび深度マップデータと同期された、人工の耳に取り付けられた2つのマイクロホンからのバイナリナル音声を使用する。
• GCC-PHAT特徴は、周波数領域で各耳の信号と送信されたチルプ信号との相互相関を計算し、その後逆フーリエ変換により時系列の相互相関特徴を取得することで算出される。
• これらのGCC-PHAT特徴は左右チャネルにわたって連結され、時系列畳み込みエンコーダに供給され、潜在的な音声表現が抽出される。
• ジェネレータは、特徴の学習と再利用を向上させることで再構成品質を向上させる、残差内に残差を組み込んだ畳み込みブロックを採用する。
• ディスクライマはバッチ正規化の代わりにスペクトル正規化を用いることで、学習の安定化とGANの収束性の向上を図る。
• 全モデルは、最小二乗GAN損失、重み係数λを有する adversarial 損失、およびL1再構成損失を組み合わせた損失関数で訓練される。

実験結果

リサーチクエスチョン

• RQ1 生波形やスペクトログラムと比較して、GCC-PHAT特徴を用いることで、バイナリナルエコーサインからの深度マップおよびグレースケール画像予測の品質が顕著に向上するか？
• RQ2 残差内に残差を組み込んだ畳み込みブロックの使用は、ジェネレータの細部構造の再構成能力にどのように影響を与えるか？
• RQ3 この音声視覚タスクにおいて、PatchGANディスクライマでバッチ正規化と比較してスペクトル正規化がより安定した学習をもたらすか？
• RQ4 視覚的入力なしに、音声のみを用いて妥当な3次元シーンレイアウトをどの程度再構成できるか？
• RQ5 提案されたモデルは、元のBatVisionアーキテクチャと比較して、ハイパーパramータの変動やデータ拡張に対してどの程度頑健か？

主な発見

• GCC-PHAT特徴を用いた本手法は、すべての構成の中でも深度マップ予測において最小のL1損失（0.0645）を達成し、生波形を用いた元のBatVision（0.0880）を上回った。
• GCC-PHAT特徴を用いたモデルは、深度マップの精度（δ<1.25³）が0.556に達し、元のBatVision（0.484）およびスペクトログラム（0.521）を上回った。
• 再構成された深度マップは、元のBatVisionと比較して、ノイズが著しく低減され、空間的レイアウトの正確性が向上しており、近い対象と遠い対象の区別が明確になった。
• ディスクライマにスペクトル正規化を適用したことで、ハイパーパramータの変更に対する感受性が低減し、より安定した学習プロセスが実現された。
• 定性的な結果から、本手法は、音声のみから正確な外観を再構成することは不可能であるものの、整合性のある自由空間と障害物のレイアウトを持つ、より知覚的に妥当なグレースケール画像を生成することが示された。
• GCC-PHAT特徴と新アーキテクチャを組み合わせたモデルは、定量的性能と視覚的品質の両面で最良のバランスを達成し、提案されたコンponentsの有効性を確認した。