[논문 리뷰] SoundSpaces 2.0: A Simulation Platform for Visual-Acoustic Learning

Changan Chen, Carl Schissler외 7명|arXiv (Cornell University)|2022. 06. 16.

Speech and Audio Processing인용 수 22

한 줄 요약

SoundSpaces 2.0은 임의의 3D 환경에 대해 즉시 현실적인 음향을 렌더링하는 기하학 기반 오디오 렌더링 플랫폼으로, 연속적 공간 샘플링, 구성 가능한 소재/마이크, 그리고 오디오-비주얼 작업에 대한 시뮬레이션-에서 실제 평가(sim2real)를 가능하게 한다.

ABSTRACT

We introduce SoundSpaces 2.0, a platform for on-the-fly geometry-based audio rendering for 3D environments. Given a 3D mesh of a real-world environment, SoundSpaces can generate highly realistic acoustics for arbitrary sounds captured from arbitrary microphone locations. Together with existing 3D visual assets, it supports an array of audio-visual research tasks, such as audio-visual navigation, mapping, source localization and separation, and acoustic matching. Compared to existing resources, SoundSpaces 2.0 has the advantages of allowing continuous spatial sampling, generalization to novel environments, and configurable microphone and material properties. To our knowledge, this is the first geometry-based acoustic simulation that offers high fidelity and realism while also being fast enough to use for embodied learning. We showcase the simulator's properties and benchmark its performance against real-world audio measurements. In addition, we demonstrate two downstream tasks -- embodied navigation and far-field automatic speech recognition -- and highlight sim2real performance for the latter. SoundSpaces 2.0 is publicly available to facilitate wider research for perceptual systems that can both see and hear.

연구 동기 및 목표

• 시각적 환경과 일치하는 즉시, 기하학 기반 오디오 렌더링을 가능하게 한다.
• 임의의 3D 메시와 새로운 환경에 오디오 시뮬레이션을 일반화한다.
• 현실적인 음향을 위한 구성 가능한 마이크 설정과 소재 특성을 제공한다.
• 실측치에 대한 현실감 벤치마크와 다운스트림 작업에서의 sim2real 성능 평가 (AV 내비게이션, 원거리 ASR).
• 지각 시스템에서 보고 듣는 연구를 지원하기 위해 대규모 시각-음향 데이터(SoundSpaces-PanoIR)를 공개한다.

제안 방법

• 주어진 소스/리시버 위치와 장면 기하에 대해 룸 임펄스 응답(RIR)을 계산하는 양방향 경로 추적 기반 오디오 전파.
• 에너지-시간 히스토그램과 방향 에너지 분포를 위한 구면 조화(Spherical harmonics)로 구성 대역에서 주파수 영역 렌더링.
• HRTF를 이용해 수신 신호를 이모노럴 또는 앰비소닉 포맷으로 공간화.
• 연속적인 소스와 수신기 움직임에 대한 음향 연속성 모델링과 연속 관찰 사이의 크로스페이딩.
• 시뮬레이션 구성 가능성: 샘플링 속도, 주파수 대역, 광선 수, 회절/반사/전달, 마이크 유형, 로드 가능한 HRTF.
• 29가지 내장 음향 소재와 주파수 의존 흡수/산란/전달, 공기 흡수 및 거리 의존 감쇠를 포함한 소재 모델링.
• 효율성 대 최대 충실도 간의 트레이드오프를 갖는 두 가지 렌더링 모드(고속 및 고품질); 계산된 IR 재사용 및 다중 스레드로 성능 향상.

실험 결과

연구 질문

• RQ1 SoundSpaces 2.0의 오디오-비주얼 시뮬레이션은 실제 측정값과 비교하여 얼마나 정확한가?
• RQ2 SoundSpaces 2.0에서 학습된 머신러닝 모델은 실제 데이터에 얼마나 잘 일반화하는가(시뮬레이션에서 실제로의 일반화), 특히 연속 오디오-비주얼 내비게이션과 원거리 ASR과 같은 작업에서?
• RQ3 음향 무작위화가 다운스트림 오디오-비주얼 작업의 시뮬레이션-실제 일반화를 향상시키는가?
• RQ4 SoundSpaces 2.0이 임의의 새로운 환경을 렌더링하고 이산화된 격자 이상의 연속 공간 샘플링을 지원할 수 있는가?
• RQ5 연속 음향(이산적이지 않음)이 AV 내비게이션 성능과 현실감에 미치는 영향은 무엇인가?

주요 결과

• SoundSpaces 2.0은 이전 SoundSpaces보다 실제 측정값과 더 가까운 정렬을 달성하며, 특히 DRR(직접-잔향 비) 정확도를 향상시켰다(평균 DRR 오차가 11.0 dB에서 0.98 dB로 감소).
• 속도-정확도 트레이드오프에서 고속 렌더링은 고품질에 비해 단일 스레드에서 약 8배, 5스레드에서 약 33배 빠르며 RT60 오차는 약 9.5%, 고품질은 0.0%인 반면, 다운스트림 내비게이션 성능은 여전히 경쟁력 있다.
• 연속 음향은 AV 내비게이션의 현실감을 향상시킨다: SoundSpaces 2.0으로 훈련된 에이전트가 이산 공간을 사용하거나 음향 연속성이 부족한 baselines보다 우수하여, 공간과 음향 연속성의 결합이 중요함을 보여준다.
• 원거리 ASR에서 SoundSpaces 2.0 IR로 파인튜닝은 baselines보다 낮은 WER를 얻는다(예: SoundSpaces 2.0 12.48% WER, 사전학습 29.10% 및 일부 실제 IR 파인튜닝보다 높지 않음); 음향 무작위화는 WER를 12.04%로 추가로 감소시킨다.
• 저자들은 750개 환경(Gibson, Matterport3D, HM3D)에 걸친 1천만 개의 파노라마 이미지-IR 쌍 데이터셋인 SoundSpaces-PanoIR를 발표하여 시각-음향 학습을 지원한다.
• SoundSpaces 2.0은 임의의 메시에 일반화되며(Gibson, HM3D, Ego4D, Matterport3D, Replica) 구성 가능한 마이크 배열 및 소재를 지원하여 더 광범위한 연구 활용에 적합하다.