[논문 리뷰] Knowledge-driven Scene Priors for Semantic Audio-Visual Embodied Navigation

Gyan Tatiya, Jonathan Francis외 5명|arXiv (Cornell University)|2022. 12. 21.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 강화학습 프레임워크 내에서 시각 및 청각 인식 모델과 지식 그래프를 통합하여 실내 환경에서 객체-영역 및 영역-영역 간 관계를 새롭게 인코딩하는 지식 기반 시나리오 사전 지식을 제안한다. 이는 공간적 추론을 위한 이중 그래프 인코더 네트워크와 사전 훈련된 시각 및 청각 인코더를 포함한다. 제안된 방법은 훈련된 환경 외부의 영역과 실제로 새로운 소리가 나는 객체로의 일반화 성능을 크게 향상시키며, Habitat-Matterport3D 환경에서 새로운 맥락에서 강력한 기준 모델들을 능가한다.

ABSTRACT

Generalisation to unseen contexts remains a challenge for embodied navigation agents. In the context of semantic audio-visual navigation (SAVi) tasks, the notion of generalisation should include both generalising to unseen indoor visual scenes as well as generalising to unheard sounding objects. However, previous SAVi task definitions do not include evaluation conditions on truly novel sounding objects, resorting instead to evaluating agents on unheard sound clips of known objects; meanwhile, previous SAVi methods do not include explicit mechanisms for incorporating domain knowledge about object and region semantics. These weaknesses limit the development and assessment of models' abilities to generalise their learned experience. In this work, we introduce the use of knowledge-driven scene priors in the semantic audio-visual embodied navigation task: we combine semantic information from our novel knowledge graph that encodes object-region relations, spatial knowledge from dual Graph Encoder Networks, and background knowledge from a series of pre-training tasks -- all within a reinforcement learning framework for audio-visual navigation. We also define a new audio-visual navigation sub-task, where agents are evaluated on novel sounding objects, as opposed to unheard clips of known objects. We show improvements over strong baselines in generalisation to unseen regions and novel sounding objects, within the Habitat-Matterport3D simulation environment, under the SoundSpaces task.

연구 동기 및 목표

• 기존 환경과 알려진 소리 외의 맥락에서 임베디드 에이전트의 일반화 능력을 향상시키기 위해.
• 기존 SAVi 벤치마크에서 실제로 새로운 소리 나는 객체에 대한 평가가 부족한 문제를 해결하기 위해.
• 객체-영역 의미론적 지식과 공간적 관계를 탐색 정책에 통합하기 위해.
• 샘플 효율성과 의사결정의 해석 가능성을 향상시키는 모듈러한 지식 강화된 프레임워크를 개발하기 위해.
• 기존에 들은 클립이 아닌 실제로 새로운 소리 나는 객체에 대해 평가하는 새로운 벤치마크 작업을 정의하기 위해.

제안 방법

• 실내 환경에서 객체-객체, 객체-영역, 영역-영역 간 관계를 인코딩하는 새로운 지식 그래프를 구축한다.
• 객체와 영역 간 공간적 및 의미적 관계를 모델링하기 위해 이중 그래프 인코더 네트워크를 활용한다.
• 객체 인식 능력과 소리 이해 능력을 햖थ기 위해 정제된 다중모달 데이터셋에서 시각 및 청각 인코더를 사전 훈련한다.
• 메모리 기반 어텐션 메커니즘을 사용하여 지식 기반 시나리오 사전 지식을 강화학습 프레임워크에 통합한다.
• 교차 도메인 일반화를 향상시키고 시각 및 청각 모odalities에 대한 추론을 최적화하기 위해 모듈러한 훈련 파라다임을 사용한다.
• 시각, 청각 및 지식 기반 추론을 융합하기 위해 다중 스트림 어텐션 메커니즘(SMT)을 적용하여 탐색 결정을 내린다.

실험 결과

연구 질문

• RQ1 지식 기반 시나리오 사전 지식은 의미적 청각-시각 탐색에서 새로운 실내 환경으로의 일반화를 향상시킬 수 있는가?
• RQ2 명시적인 객체-영역 및 영역-영역 의미 관계를 통합하면 새로운 소리 나는 객체에서의 에이전트 성능 향상이 이루어지는가?
• RQ3 정제된 시각 데이터셋에서의 사전 훈련은 객체 인식 능력과 탐색 성공률에 어떤 영향을 미치는가?
• RQ4 모듈러하고 지식이 보강된 강화학습 프레임워크는 새로운 영역과 들은 적이 없는 소리에 대해 제로샷 일반화에서 강력한 기준 모델을 능가할 수 있는가?
• RQ5 지식 통합은 다중모달 탐색에서 샘플 효율성과 의사결정의 해석 가능성에 얼마나 기여하는가?

주요 결과

• 제안된 K-SAVEN 모델은 새로운 주택 시나리오(UH/HS)에서 73.2%의 성공률을 기록했으며, 새로운 주택에서 들은 적이 없는 소리(UH/US)에서는 31.9%의 성공률을 기록하여 강력한 기준 모델들을 능가한다.
• UH/HS 설정에서 only-GENV 및 both-GENs 모델은 각각 73.2%와 73.0%의 성공률을 기록했으며, 이는 only-GENB의 64.4%보다 유의미하게 높은 성능을 보였다.
• UH/US 설정에서 only-GENB는 23.3%의 성공률을 기록했고, only-GENV의 21.2%보다 높아, 새로운 소리에 대해 청각 추론이 더 중요하다는 것을 시사한다.
• 시각 및 청각 지식 스트림을 모두 포함한 전체 모델(both-GENs)은 SAVi보다 더 높은 SPL 및 SNA 점수를 기록하여 더 짧고 효율적인 경로를 확보했다.
• 정성적 결과는 K-SAVEN의 경로가 SAVi보다 더 직접적이며 목표지점에 더 빨리 도달하며, 더 적은 단계를 밟고 더 적은 와일딩을 보임을 보여준다.
• 절단 분석 결과, 시각과 청각 추론을 지식 사전 지식과 함께 통합할 경우, 각각의 모odalities를 별도로 사용하는 것보다 더 나은 일반화 성능을 달성함을 확인했다.