[논문 리뷰] BatVision: Learning to See 3D Spatial Layout with Two Ears

Jesper Haahr Christensen, Sascha Hornauer외 1명|arXiv (Cornell University)|2019. 12. 15.

Bat Biology and Ecology Studies참고 문헌 23인용 수 6

한 줄 요약

BatVision는 두 귀로 구성된 저비용 바이나울러 시스템으로, 음향 에코만을 사용하여 신경망을 통해 3D 공간 레이아웃(깊이 맵 및 회색조 이미지)을 재구성하는 데 학습한다. 이 시스템은 놀랍게도 정확한 깊이 예측과 자연스러운 시각적 장면 재구성을 달성하며, 일부 경우에서는 실제 스테레오 깊이보다도 뛰어난 성능을 보인다.

ABSTRACT

Many species have evolved advanced non-visual perception while artificial systems fall behind. Radar and ultrasound complement camera-based vision but they are often too costly and complex to set up for very limited information gain. In nature, sound is used effectively by bats, dolphins, whales, and humans for navigation and communication. However, it is unclear how to best harness sound for machine perception. Inspired by bats' echolocation mechanism, we design a low-cost BatVision system that is capable of seeing the 3D spatial layout of space ahead by just listening with two ears. Our system emits short chirps from a speaker and records returning echoes through microphones in an artificial human pinnae pair. During training, we additionally use a stereo camera to capture color images for calculating scene depths. We train a model to predict depth maps and even grayscale images from the sound alone. During testing, our trained BatVision provides surprisingly good predictions of 2D visual scenes from two 1D audio signals. Such a sound to vision system would benefit robot navigation and machine vision, especially in low-light or no-light conditions. Our code and data are publicly available.

연구 동기 및 목표

• 배타적 음향 에코에서 3D 공간 레이아웃을 추론하는 저비용 이동식 시스템을 개발한다. (박쥐의 에코로케이션을 영감으로 삼음)
• 원시 음성 신호만으로도 시각적 장면(깊이 맵 및 회색조 이미지)을 예측할 수 있도록 딥 뉴럴 네트워크를 훈련한다.
• 시각 센서가 실패하는 저조도 또는 무조도 환경에서 기계적 인식을 가능하게 한다.
• 인공 귀를 장착한 단순한 두 마이크 시스템이 학습된 음성-시각 매핑을 통해 고품질의 공간 재구성을 이룰 수 있음을 입증한다.
• 실세계 로봇 응용 프로그램을 위한 임베디드 플랫폼에 시스템을 구현 가능하게 한다.

제안 방법

• 시스템은 짧고 주파수 변조된 치르프를 방출하는 스피커와 인공 인간 귀에 내장된 두 개의 마이크를 사용해 바이나울러 에코를 캡처한다.
• 훈련 중에는 동기화된 스테레오 카메라 데이터가 지도 학습을 위한 기준 깊이 맵과 회색조 이미지를 제공한다.
• 신경망 아키텍처는 음성 인코더와 UNet 기반 생성기의 조합으로, 바이나울러 웨이브폼 또는 스펙트로그램을 시각적 출력으로 매핑한다.
• 모델은 L1 정규화와 패치 수준 GAN을 통한 생성적 적대적 훈련을 포함한 다중 척도 손실을 사용해 시각적 품질을 향상시킨다.
• 음성 인코더는 원시 웨이브폼 또는 스펙트로그램을 처리하며, 초기, 후기 또는 중간 단계에서 특징 융합을 수행한다.
• 최종 목표는 생성적 적대적 손실과 L1 재구성 손실의 조합이며, 식은 다음과 같다: $\min_{G}\max_{D}\frac{1}{2}\mathcal{L}_{GAN}(D)+\mathcal{L}_{GAN}(G)+\lambda\mathcal{L}_{L_{1}}(G)$.

실험 결과

연구 질문

• RQ1 기계 학습 시스템이 바이나울러 음향 신호만으로 3D 공간 레이아웃을 정확하게 재구성할 수 있는가?
• RQ2 음성과 스테레오 시각 데이터로 훈련된 신경망이 음성에서 깊이 맵과 시각적 장면을 얼마나 잘 예측할 수 있는가?
• RQ3 저조도 또는 복잡한 실내 환경에서 전통적 스테레오 시력에 비해 시스템 성능이 어느 정도 뛰어나게 되는가?
• RQ4 반사나 혼잡한 공간에서 음향 기반 장면 재구성의 한계는 무엇인가?
• RQ5 인공 귀를 장착한 단순한 두 마이크 시스템이 더 복잡한 생물 에코로케이션 시스템과 비교해 유사한 성능을 낼 수 있는가?

주요 결과

• 128×128 해상도에서 스펙트로그램 입력과 조기 융합, UNet 생성기를 사용할 경우, 깊이 맵 예측의 테스트 손실이 0.0773을 기록했다.
• 128×128 해상도에서 GAN 강화 모델은 깊이 맵의 L1 손실을 0.0742로 줄였고, 회색조 이미지의 경우 0.1841로 향상되어 세부 사항과 선명도가 향상됨을 보였다.
• 세부 물체 정보 없이도 자연스러운 바닥 레이아웃과 벽의 위치를 생성하여 음향과 장면 구조 간의 통계적 상관관계를 효과적으로 포착한 것으로 나타났다.
• 일부 사례에서는 음향 기반 깊이 예측이 스테레오 시력 기준값을 초월했으며, 특히 무늬가 적거나 격차 추정이 어려운 영역에서 두드러졌다.
• 짧은 거리의 다중 경로 에코 또는 매우 반사성 또는 혼잡한 환경(밀도 높은 가구가 있는 회의실 등)에서는 성능 저하가 발생했다.
• 근접하거나 복잡한 물체에서는 에코 겹침과 신호 흡수로 인해 재구성이 실패했으며, 이는 그림 8의 실패 사례에서 확인할 수 있다.