[논문 리뷰] SoundSpaces: Audio-Visual Navigation in 3D Environments

Changan Chen, Unnat Jain외 6명|arXiv (Cornell University)|2019. 12. 24.

Tactile and Sensory Interactions참고 문헌 101인용 수 7

한 줄 요약

이 논문은 음향과 시각 정보를 융합한 다중 모odal 딥 강화 학습 프레임워크를 사용하여 3차원 환경에서 청각 기반 탐색을 수행한다. 음향이 발생하는 목표로 햖ಥ한 탐색 성능을 향상시키기 위해 Matterport3D와 Replica 환경에서 음향적으로 현실적인 음향 렌더링을 포함한 새로운 데이터셋인 SoundSpaces를 제안하며, 특히 새로운 환경과 들은 적이 없는 소리에서 음향이 탐색 성능을 크게 향상시킴을 입증한다.

ABSTRACT

Moving around in the world is naturally a multisensory experience, but today's embodied agents are deaf---restricted to solely their visual perception of the environment. We introduce audio-visual navigation for complex, acoustically and visually realistic 3D environments. By both seeing and hearing, the agent must learn to navigate to a sounding object. We propose a multi-modal deep reinforcement learning approach to train navigation policies end-to-end from a stream of egocentric audio-visual observations, allowing the agent to (1) discover elements of the geometry of the physical space indicated by the reverberating audio and (2) detect and follow sound-emitting targets. We further introduce SoundSpaces: a first-of-its-kind dataset of audio renderings based on geometrical acoustic simulations for two sets of publicly available 3D environments (Matterport3D and Replica), and we instrument Habitat to support the new sensor, making it possible to insert arbitrary sound sources in an array of real-world scanned environments. Our results show that audio greatly benefits embodied visual navigation in 3D spaces, and our work lays groundwork for new research in embodied AI with audio-visual perception.

연구 동기 및 목표

• 현재의 몸체 기반 에이전트가 시각적 제약을 겪는 문제를 해결하기 위해 복잡한 3차원 환경에서 청각-시각 인식을 탐색에 도입한다.
• 에이전트가 시각과 청각 모odal을 모두 활용하여 공간 기하학적 구조를 탐색하고 음향을 발생하는 목표를 정밀하게 국소화할 수 있도록 한다.
• 딥 강화 학습을 활용한 청각-시각 탐색을 위한 확장 가능한 종단 간 훈련 프레임워크를 개발한다.
• 실제 3차원 환경에서 사전 계산된 음향 렌더링을 포함한 새로운 벤치마크와 데이터셋인 SoundSpaces를 구축한다.
• 새로운 환경과 들은 적이 없는 소리에 대한 일반화 성능을 평가하여 두 모달 간의 강력한 상호보완성과 내구성을 입증한다.

제안 방법

• 최신 시각 탐색 정책을 확장하여 다중 모달 딥 강화 학습 아키텍처에서 시각 및 청각 특징을 융합함으로써 청각 관측을 통합한다.
• 기하학적 음향 시뮬레이션을 통해 사전 계산된 음향 렌더링을 사용하여 Matterport3D와 Replica 환경에서 반사 및 리버브를 포함한 현실적인 음향 전파를 모델링한다.
• Habitat 플랫폼을 개선하여 동적 음향 소스 배치 기능을 지원함으로써 실제 스캔된 3차원 공간에서 임의의 음향 소스를 시뮬레이션할 수 있도록 한다.
• 행동 선택을 두 모달이 모두 지도하는 음향-시각 관측 시퀀스를 기반으로 이민 및 강화 학습을 통해 종단 간 탐색 정책을 훈련한다.
• 각 타임스텝에서 시각과 청각의 기여도를 정량화하기 위해 기울기 기반 중요도 분석(예: 아블레이션 기반 중요도 스코어링)을 적용한다.
• 성공률과 SPL(Success weighted by Path Length)을 사용하여 성능을 평가하며, 음성 전용, 시각 전용, 청각-시각 통합 설정 간 모델을 비교한다.

실험 결과

연구 질문

• RQ1 비시각 기반 기준 대비 복잡한 새로운 3차원 환경에서 청각-시각 인식이 탐색 성능을 어떻게 크게 향상시키는가?
• RQ2 탐색 중에 청각과 시각 모달이 행동 선택에 어떻게 동적으로 기여하며, 다양한 환경적 맥락에서 각 모달의 상대적 중요도는 어떻게 되는가?
• RQ3 청각-시각 에이전트는 새로운 환경과 들은 적이 없는 소리에 대해 얼마나 잘 일반화되는가? 소리가 낯설 경우 성능 저하 정도는 어떠한가?
• RQ4 GPS 없이도 청각만으로도 이동 기반 목표 신호의 타당한 대체 수 Mittel이 될 수 있는가?
• RQ5 음향적으로 현실적인 음향 렌더링 통합이 에이전트의 공간 기하학 추론 능력과 목표 위치 파악 능력을 얼마나 향상시키는가?

주요 결과

• 청각-시각 탐색은 탐색 성능을 크게 향상시킨다: AudioPointGoal(APG) 에이전트는 들은 적이 없는 소리가 있는 경우에도 PointGoal 기준보다 뛰어난 성능을 보이며, 새로운 Replica 환경에서 64.9%의 SPL을 기록한다.
• GPS 기반 목표 신호보다 청각만으로도 일부 설정에서 성능이 뛰어나며, APG 에이전트가 PointGoal 기준보다 더 높은 SPL을 기록함으로써 청각이 불완전한 오도메트리에 대해 강건함을 입증한다.
• 청각을 포함한 훈련을 통해 에이전트는 새로운 환경과 들은 적이 없는 소리에 효과적으로 일반화되며, 테스트 시 소리가 완전히 새로운 경우에도 APG 에이전트는 강력한 성능(SPL ~64.9)을 유지한다.
• 모델은 청각과 시각을 동적으로 균형 조절한다: 중요도 분석 결과, 초기 탐색 단계에서는 청각이 주로 영향을 미치며(예: 소리 쪽으로 돌아서기), 장애물 회피에는 시각이 더 중요해진다.
• 청각은 방향성 및 기하학적 단서를 제공한다: 음압장은 공간 구조와 최단 경로(지오데식스)를 드러내어 시각 인지 범위를 초월한 공간 레이아웃 추론을 가능하게 한다.
• AudioGoal(AG)의 경우 새로운 소리에 일반화할 때 성능이 저하되나(예: Replica에서 27.7% SPL), 여전히 시각 전용 기준보다는 훨씬 높아, 더 큰 청각 데이터셋이 필요로 함을 시사한다.