[논문 리뷰] PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning

Santhosh Kumar Ramakrishnan, Devendra Singh Chaplot외 3명|arXiv (Cornell University)|2022. 01. 25.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

PONI는 상향식 의미 맵에서의 감지 문제로 '어디를 보아야 할까?'를 다루는 모듈러하고 상호작용이 없는 접근법을 제안한다. 이는 감지 기반의 학습된 잠재 함수 네트워크를 사용하여 의미적이고 기하학적인 잠재 함수를 예측한다. 이는 기존 최고 성능(SoTA) 방법보다 최대 600배 적은 학습 계산 자원을 사용하여 Gibson 및 Matterport3D에서 최고 성능을 달성한다.

ABSTRACT

State-of-the-art approaches to ObjectGoal navigation rely on reinforcement learning and typically require significant computational resources and time for learning. We propose Potential functions for ObjectGoal Navigation with Interaction-free learning (PONI), a modular approach that disentangles the skills of `where to look?' for an object and `how to navigate to (x, y)?'. Our key insight is that `where to look?' can be treated purely as a perception problem, and learned without environment interactions. To address this, we propose a network that predicts two complementary potential functions conditioned on a semantic map and uses them to decide where to look for an unseen object. We train the potential function network using supervised learning on a passive dataset of top-down semantic maps, and integrate it into a modular framework to perform ObjectGoal navigation. Experiments on Gibson and Matterport3D demonstrate that our method achieves the state-of-the-art for ObjectGoal navigation while incurring up to 1,600x less computational cost for training. Code and pre-trained models are available: https://vision.cs.utexas.edu/projects/poni/

연구 동기 및 목표

• ObjectGoal 탐색에서 종래의 강화학습 기반 엔드 투 엔드 접근법의 높은 계산 비용과 낮은 샘플 효율성 문제를 해결하기 위해.
• ‘어디를 보아야 할까?’를 ‘어떻게 이동할까?’와 분리하여, 이를 감지 문제로 간주함으로써.
• 환경 상호작용 없이도 정적 의미 맵만을 사용하여 ‘어디를 보아야 할까?’ 정책을 학습할 수 있도록 하기 위해.
• 모듈러하고 비상호작용적인 학습을 통해 몸체 내재 탐색의 일반화 능력과 샘플 효율성을 향상시키기 위해.
• 학습 계산 자원을 크게 줄이며도 ObjectNav에서 최고 성능을 달성하기 위해.

제안 방법

• 부분적으로 채워진 상향식 의미 맵에서 두 상호보완적인 잠재 함수를 예측하기 위해 U-Net 구조의 인코더-디코더 모델인 잠재 함수 네트워크를 제안한다.
• 잠재 함수를 맵의 가장자리에서 [0,1] 범위의 함수로 정의하며, 목표 물체를 찾기 위해 각 위치를 방문할 가치를 나타낸다.
• 탐색을 위한 영역 잠재 함수와 목표 물체까지의 지오데식 거리 기반의 물체 잠재 함수를 사용한다.
• 환경 상호작용 없이도 상호작용이 없는 지도 학습을 통해 3D 애너테이션된 의미 맵의 패assing 데이터셋에서 잠재 함수 네트워크를 학습한다.
• 학습된 잠재 함수 네트워크를 모듈러한 탐색 프레임워크에 통합하여, 병합된 잠재 함수의 최댓값이 다음 봐야 할 방향을 결정한다.
• 실내 레이아웃, 물체-방 관계, 물체-물체 간 거리 등 기하학적 및 의미적 단서를 활용하여 잠재 함수 예측에 영향을 준다.

Figure 1 : Potential functions for ObjectGoal Navigation with Interaction-free learning (PONI) . We introduce a method to decide ‘where to look?’ for an unseen object in indoor 3D environments. Our key insight is that this is fundamentally a perception problem that can be solved without any interact

실험 결과

연구 질문

• RQ1 ObjectGoal 탐색에서 ‘어디를 보아야 할까?’ 결정을 환경 상호작용 없이 효과적으로 학습할 수 있는가?
• RQ2 의미 맵에서 지도 학습을 통해 ‘어디를 보아야 할까?’를 감지 문제로 간주할 경우, 상호작용 기반 강화학습 대비 더 높은 샘플 효율성과 낮은 학습 비용을 달성할 수 있는가?
• RQ3 탐색과 목표 접근성 기반의 상호보완적인 잠재 함수가 새로운 환경에서의 탐색 성능을 향상시킬 수 있는가?
• RQ4 기존 표준 벤치마크에서 종래의 엔드 투 엔드 강화학습 대비 비상호작용 학습이 일반화 능력과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ5 상향식 맵의 의미적 및 기하학적 단서가 탐색을 위한 잠재 함수 예측 정확도에 얼마나 기여하는가?

주요 결과

• PONI는 Habitat ObjectNav 챌린지 랭킹에서 최고 성능을 기록했으며, MP3D(test-standard)에서 4개 지표 중 3개(SPL, SoftSPL, DTS)에서 이전에 발표된 방법들을 능가했다.
• Gibson(val)에서 PONI는 86.5%의 성공률과 51.5%의 SPL을 기록했으며, 이는 이전 SoTA인 SemExp보다 학습 비용이 7배 낮았다.
• Matterport3D(val)에서 PONI는 58.2%의 성공률과 27.5%의 SPL을 기록했으며, 이는 이전 SoTA인 THDA보다 학습 계산 자원이 1@600× 적었다.
• 제거 실험 결과, 물체 잠재 함수와 영역 잠재 함수 모두 필수적이며, 둘 중 하나를 제거하면 성능이 크게 떨어지는 것으로 확인되었다.
• 정답 이미지 세그멘테이션을 사용할 경우 성능이 크게 향상되어, PONI 파이프라인에서 실패의 주요 원인이 세그멘테이션 오류임을 시사한다.
• 이 방법은 새로운 환경으로의 일반화 능력이 뛰어나고, 시뮬레이션에서 실제 환경으로의 전이 성능도 효과적이며, 상호작용 기반 강화학습에 크게 의존하지 않는다.

Figure 2 : Architecture for PONI: Our model consists of three components. The semantic mapper uses RGB-D and pose sensor readings to build an allocentric map $m_{t}$ of the world. The potential function network $\pi_{pf}$ uses the semantic map and the goal object category $o_{t}$ to predict the area