[논문 리뷰] Object Goal Navigation using Goal-Oriented Semantic Exploration

Devendra Singh Chaplot, Dhiraj Gandhi외 2명|arXiv (Cornell University)|2020. 07. 01.

Multimodal Machine Learning Applications참고 문헌 50인용 수 221

한 줄 요약

SemExp은 미지의 환경에서 물체 범주로 효율적으로 탐색하기 위해 의미 맵과 목표 지향 탐색 정책을 구축하여 기반선보다 성능을 앞서고 CVPR 2020 Habitat ObjectNav 챌린지에서 우승합니다. 실제 로봇으로의 이식성도 뛰어납니다.

ABSTRACT

This work studies the problem of object goal navigation which involves navigating to an instance of the given object category in unseen environments. End-to-end learning-based navigation methods struggle at this task as they are ineffective at exploration and long-term planning. We propose a modular system called, `Goal-Oriented Semantic Exploration' which builds an episodic semantic map and uses it to explore the environment efficiently based on the goal object category. Empirical results in visually realistic simulation environments show that the proposed model outperforms a wide range of baselines including end-to-end learning-based methods as well as modular map-based methods and led to the winning entry of the CVPR-2020 Habitat ObjectNav Challenge. Ablation analysis indicates that the proposed model learns semantic priors of the relative arrangement of objects in a scene, and uses them to explore efficiently. Domain-agnostic module design allow us to transfer our model to a mobile robot platform and achieve similar performance for object goal navigation in the real-world.

연구 동기 및 목표

• 노출되지 않은 환경에서 명시적 에피소드 기억에 있는 의미를 활용하여 물체 목표 탐색을 촉진하고 해결한다.
• 탐색 효율성과 장기 계획을 향상시키기 위해 의미 맵핑과 목표 지향 탐색 정책을 결합한 모듈식 시스템을 제안한다.
• 미분 가능 투영을 사용하는 사전 학습된 1인칭 의미 예측을 활용하여 탑다운 의미 맵을 구축한다.
• 시뮬레이션된 서식 환경에서 최첨단 성능을 시연하고 실제 로봇 플랫폼으로의 이행 가능성을 보여준다.

제안 방법

• 두 학습 가능한 모듈인 Semantic Mapping과 Goal-Oriented Semantic Policy를 갖춘 SemExp을 도입한다.
• 장애물/탐색 채널과 함께 15개의 물체 범주 채널을 포함한 탑다운 의미 맵을 구축하고, 1인칭 예측으로부터의 미분 가능 투영을 사용한다.
• RGB로부터 의미 범주를 사전학습된 탐지기(Mask R-CNN)로 예측하고 탑다운 공간으로 투영한다; 맵을 얻기 위해 노이즈 제거 네트워크를 적용한다.
• 의미 사전 지식을 기반으로 장기 목표를 선택하도록 목표 지향 의미 정책을 학습시키고, 가장 가까운 목표 물체까지의 거리 감소를 보상으로 하는 PPO를 사용한다.
• 현재 위치에서 장기 목표에 도달하기 위해 결정론적 로컬 플래너(Fast Marching Method)를 사용하고, 매 단계 맵을 업데이트하며 재계획한다.

실험 결과

연구 질문

• RQ1 명시적 의미 맵이 미지의 환경에서 물체 목표 탐색을 어떻게 개선할 수 있는가?
• RQ2 목표 지향적 의미 탐색 정책이 탐색 과제에서 목표 비의존 탐색보다 우수한가?
• RQ3 장면 내 물체 배치에 대한 의미 사전 지식을 학습하고 활용하여 탐색 효율을 향상시킬 수 있는가?
• RQ4 SemExp 프레임워크가 시뮬레이션에서 실제 로봇 플랫폼으로 얼마나 잘 이식되는가?

주요 결과

• SemExp은 Gibson 및 MP3D 데이터셋에서 모든 기초 방법보다 우수하며 Active Neural SLAM에 비해 더 높은 SPL과 Success를, 더 낮은 DTS를 기록했다.
• 고찰 결과는 의미 맵핑과 목표 지향 정책 모두 성능에 크게 기여하며; GT 의미 분할은 결과를 더 향상시킨다.
• 실제 정답 의미 분할(ground-truth semantic segmentation)을 사용하면 성공률이 크게 상승한다(73.1% 대 54.4%), 의미 예측 품질이 핵심 병목임을 강조한다.
• SemExp은 CVPR 2020 Habitat ObjectNav 챌린지에서 25.3%의 성공률을 달성하여 다음 최우수 참가자를 능가했다.
• Locobot과의 실제 로봇 이식 실험에서 65%의 성공을 보였으며, 도메인에 구애받지 않는 설계와 사전 학습된 탐지기의 의존이 효과적인 시뮬레이션-실제 전이를 가능하게 함을 시사한다.