[논문 리뷰] Learning Active Camera for Multi-Object Navigation

Peihao Chen, Dongyu Ji외 6명|arXiv (Cornell University)|2022. 10. 14.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 다객체 탐색 중에 몸체를 가진 에이전트가 카메라를 능동적으로 이동시킬 수 있도록 하는 EXPloration-Oriented (EXPO) 카메라 정책을 제안한다. 이는 환경 인식과 탐색 효율성을 향상시킨다. 히우리스틱 규칙, 상향식 점유 지ap, 강화학습을 조합하여 카메라 및 주행 행동을 조율함으로써, MatterPort3D 및 Gibson 데이터셋에서 네 가지 기준 모델에 대해 일관된 성능 향상을 달성한다.

ABSTRACT

Getting robots to navigate to multiple objects autonomously is essential yet difficult in robot applications. One of the key challenges is how to explore environments efficiently with camera sensors only. Existing navigation methods mainly focus on fixed cameras and few attempts have been made to navigate with active cameras. As a result, the agent may take a very long time to perceive the environment due to limited camera scope. In contrast, humans typically gain a larger field of view by looking around for a better perception of the environment. How to make robots perceive the environment as efficiently as humans is a fundamental problem in robotics. In this paper, we consider navigating to multiple objects more efficiently with active cameras. Specifically, we cast moving camera to a Markov Decision Process and reformulate the active camera problem as a reinforcement learning problem. However, we have to address two new challenges: 1) how to learn a good camera policy in complex environments and 2) how to coordinate it with the navigation policy. To address these, we carefully design a reward function to encourage the agent to explore more areas by moving camera actively. Moreover, we exploit human experience to infer a rule-based camera action to guide the learning process. Last, to better coordinate two kinds of policies, the camera policy takes navigation actions into account when making camera moving decisions. Experimental results show our camera policy consistently improves the performance of multi-object navigation over four baselines on two datasets.

연구 동기 및 목표

• 다객체 탐색 중에 복잡한 3차원 환경을 인식하는 데에 고정 카메라를 사용하는 에이전트의 비효율성을 해결하기 위해.
• 카메라를 고정된 방향으로 유지하는 대신, 주행 결정과 연계하여 환경을 능동적으로 탐색하는 카메라 정책을 개발하기 위해.
• 히우리스틱 규칙과 상향식 지도 표현을 통합하여 복잡한 RGB-D 관측에서의 학습 난이도를 낮추기 위해.
• 다양한 주행 방법과의 원활한 통합을 위해 엔드 투 엔드 훈련을 통해 가능하게 하기 위해.

제안 방법

• 탐색된 영역, 자유 영역, 점유 영역를 나타내기 위해 원시 RGB-D 관측을 상향식 점유 지도로 변환하기.
• 미탐색 영역을 기반으로 예상되는 카메라 방향을 추론하기 위해 히우리스틱 모듈을 설계하여, 학습을 안내하는 규칙 기반 전문가 역할을 하기.
• 점유 지도, 히우리스틱 방향, 향후 주행 행동을 입력으로 받아 최적의 카메라 이동을 예측하기 위해 강화학습을 사용해 신경망 정책을 훈련하기.
• 새로운 영역 탐색을 장려하기 위한 보상 함수를 사용해 활성 카메라 문제를 마르코프 결정 과정(Markov Decision Process)으로 공식화하기.
• 계획된 주행 행동에 따라 카메라 결정을 조정함으로써 카메라 정책과 주행 정책을 조율하기.
• 기존 주행 아키텍처(예: MultiON, OccAnt)와 EXPO 카메라 정책을 통합하여 다객체 탐색 작업에서 엔드 투 엔드 훈련을 수행하기.

실험 결과

연구 질문

• RQ1 고정 카메라 기준 모델 대비 활성 카메라 이동이 다객체 탐색 성능을 크게 향상시킬 수 있는가?
• RQ2 희박한 시각 관측이 있는 복잡한 3차원 환경에서 카메라 정책을 효과적으로 학습할 수 있는가?
• RQ3 히우리스틱 규칙과 지도 표현이 활성 시각에서 샘플 복잡도를 줄이고 정책 학습을 향상시키는 데에 얼마나 기여하는가?
• RQ4 다양한 주행 아키텍처와 벤치마크 환경 간에 EXPO 카메라 정책의 일반화 능력은 어느 정도인가?
• RQ5 카메라 정책이 탐색 효율성을 향상시켜 모든 목표 물체를 더 빨리 발견하게 하는가?

주요 결과

• MatterPort3D 데이터셋에서 OccAnt 기준 모델에 대해 EXPO 카메라 정책이 SPL을 13.6에서 18.1로, PPL을 20.5에서 25.4로 향상시켰다.
• 동일한 기준 모델에서 성공률은 18.39%에서 24.0%로, Progress는 28.4%에서 34.2%로 상승하여 지도 노이즈에 대한 강건성을 입증했다.
• 추가 정보(지도, 히우리스틱, 보상)를 통합한 향상된 기준 모델은 SPL=35.1, PPL=45.9, 성공률=48.0, Progress=63.2를 기록했지만, 여전히 전체 EXPO 에이전트에 비해 성능이 열 劣하다.
• 새로운 환경 탐색에서, 동일한 시간 예산 내에 고정 카메라 또는 무작위 카메라 기준 모델보다 EXPO 에이전트가 더 많은 목표 물체를 발견하고 더 넓은 영역을 탐색했다.
• 시각화 결과, 에이전트가 주행 도중 미관측된 목표물(예: Goal-2 및 Goal-3)을 탐지하기 위해 활성 카메라 회전을 사용했음을 확인했으며, 이는 효율적인 경로 계획을 가능하게 했다.
• 실패 케이스는 보조 자료에서 분석되었으며, 지도 노이즈와 부분 관측 조건에서도 메서드가 여전히 효과적임을 시사했다.