[논문 리뷰] SGoLAM: Simultaneous Goal Localization and Mapping for Multi-Object Goal Navigation

Junho Kim, Eun Sun Lee외 3명|arXiv (Cornell University)|2021. 10. 14.

Multimodal Machine Learning Applications참고 문헌 32인용 수 4

한 줄 요약

SGoLAM은 RGB-D 및 GPS/컴pass 센서를 사용하여 학습이 필요 없는 모듈러한 접근 방식을 제안하며, 동시에 목표물 위치 추정과 점유 지도 생성을 위한 고전적 사영 기하학을 활용하여 다중 목적지 탐색을 수행한다. 이는 학습 기반 방법과 맞먹는 최신 기술 수준의 성능을 달성했으며, CVPR 2021 MultiON 챌린지에서 2위를 기록했다.

ABSTRACT

We present SGoLAM, short for simultaneous goal localization and mapping, which is a simple and efficient algorithm for Multi-Object Goal navigation. Given an agent equipped with an RGB-D camera and a GPS/Compass sensor, our objective is to have the agent navigate to a sequence of target objects in realistic 3D environments. Our pipeline fully leverages the strength of classical approaches for visual navigation, by decomposing the problem into two key components: mapping and goal localization. The mapping module converts the depth observations into an occupancy map, and the goal localization module marks the locations of goal objects. The agent's policy is determined using the information provided by the two modules: if a current goal is found, plan towards the goal and otherwise, perform exploration. As our approach does not require any training of neural networks, it could be used in an off-the-shelf manner, and amenable for fast generalization in new, unseen environments. Nonetheless, our approach performs on par with the state-of-the-art learning-based approaches. SGoLAM is ranked 2nd in the CVPR 2021 MultiON (Multi-Object Goal Navigation) challenge. We have made our code publicly available at \emph{https://github.com/eunsunlee/SGoLAM}.

연구 동기 및 목표

• 새로운 환경에서 학습이 필요 없이 3D 환경에서 목표 물체의 순서를 따라 이동하는 문제를 해결하는 것.
• 엔드 투 엔드 딥 러닝을 피하는 것으로써, 미리 보지 않은 환경에서의 일반화 능력과 이식 가능성을 향상시키는 것.
• 다중 목적지 탐색을 지도 생성과 목표물 위치 추정으로 분해하여 고전적 기하학을 활용하는 모듈러한 구성 요소로 나누는 것.
• 학습 기반 방법과 경쟁 가능한 성능를 달성하면서도, 신속한 배포와 적응 능력을 유지하는 것.

제안 방법

• 지ap 모듈은 사영 기하학을 사용하여 깊이 관측치를 3D 점유 지도로 변환하며, 프레임 간 공간 일관성을 유지한다.
• 목표물 위치 추정 모듈은 RGB-D 특징과 객체 검출을 활용하여 상단 시점 지도상에서 목표 물체의 2D 위치를 식별하고 표시한다.
• 에이전트의 정책은 하이브리드 전략에 기반하여 행동을 선택한다: 목표물이 감지되면 바로 그 방향으로 경로 계획을 수행하고, 그렇지 않으면 탐색을 수행한다.
• 시스템은 지도와 목표물 위치 모두에 상단 시점 격자 표현을 사용하여 고전적 경로 탐색 알고리즘을 효율적으로 활용할 수 있도록 한다.
• 모든 구성 요소는 딥 러닝을 사용하지 않고 고전적 컴퓨터 비전 및 기하학 기법을 활용해 별도로 학습하거나 최적화한다.
• 이 방법은 모듈러하고 재사용 가능하여, 재학습 없이도 새로운 환경에 즉각적으로 통합할 수 있다.

실험 결과

연구 질문

• RQ1 고전적, 학습 기반 접근 방식이 다중 목적지 탐색에서 최신 기술 수준의 학습 기반 방법과 경쟁 가능한 성능를 달성할 수 있는가?
• RQ2 지도 생성과 목표물 위치 추정의 모듈러한 분해가 새로운 3D 환경에서의 일반화 능력을 어떻게 향상시키는가?
• RQ3 학습이 필요한 탐색 시스템이 학습 기반 기준 대비 성공률 및 진전 지표에서 얼마나 뛰어난 성능를 보일 수 있는가?
• RQ4 다중 목적지 작업에 대해 고전적 접근 방식과 학습 기반 접근 방식 간의 성공률과 경로 효율성 간의 상충 관계는 어느 정도인가?

주요 결과

• SGoLAM은 성공률 0.62를 기록하여, NoMap(RNN)의 0.05와 VisMemoryMap의 0.43를 포함한 모든 기준보다 뚜렷이 뛰어났다.
• 진전 지표로는 0.71을 기록하여, 다음으로 우수한 기준인 AuxTaskMap(0.70)을 초월했다.
• 경로 효율성 측면에서 SGoLAM은 PPL 0.39와 SPL 0.34를 기록했으며, 최고의 학습 기반 방법인 AuxTaskMap에 비해 낮긴 하지만 여전히 매우 경쟁력 있는 성능를 보였다.
• 신경망 학습을 전혀 사용하지 않음에도 불구하고, SGoLAM은 새로운 환경에서 강력한 일반화 능력과 빠른 배포 능력을 입증했다.
• 결과는 고전적 기하 기반 접근 방식이 복잡하고 장거리 탐색 과제에서도 높은 성공률를 달성할 수 있음을 확인시켰다.
• 경로 효율성의 성능 격차는 고전적 계획자에 대한 알려진 한계를 반영하지만, SGoLAM은 전반적으로 매우 효과적인 성능를 유지하고 있다.