[논문 리뷰] Learning to Move with Affordance Maps

William Qi, Ravi Teja Mullapudi외 2명|ArXiv.org|2020. 01. 08.

Robotic Path Planning Algorithms참고 문헌 42인용 수 8

한 줄 요약

이 논문은 모바일 로봇 주행을 위한 전통적인 기하학적 플래너를 향상시키기 위해 자기지도학습 상호작용을 통해 공간적 접근성 맵을 학습하는 하이브리드 접근법을 제안한다. 도로상의 장애물과 의미론적 제약 조건(예: 젖은 바닥, 문 등)을 포함한 주행 가능한 영역을 예측함으로써, 접근성 맵은 샘플 효율적이고 일반화 가능하며 해석 가능한 주행을 가능하게 하며, 탐색에서 최대 70% 향상되고 위험 상황에서 주행에서 최대 55% 향상되어 기하학적 기준 모델과 최신 강화학습(RL) 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

The ability to autonomously explore and navigate a physical space is a fundamental requirement for virtually any mobile autonomous agent, from household robotic vacuums to autonomous vehicles. Traditional SLAM-based approaches for exploration and navigation largely focus on leveraging scene geometry, but fail to model dynamic objects (such as other agents) or semantic constraints (such as wet floors or doorways). Learning-based RL agents are an attractive alternative because they can incorporate both semantic and geometric information, but are notoriously sample inefficient, difficult to generalize to novel settings, and are difficult to interpret. In this paper, we combine the best of both worlds with a modular approach that learns a spatial representation of a scene that is trained to be effective when coupled with traditional geometric planners. Specifically, we design an agent that learns to predict a spatial affordance map that elucidates what parts of a scene are navigable through active self-supervised experience gathering. In contrast to most simulation environments that assume a static world, we evaluate our approach in the VizDoom simulator, using large-scale randomly-generated maps containing a variety of dynamic actors and hazards. We show that learned affordance maps can be used to augment traditional approaches for both exploration and navigation, providing significant improvements in performance.

연구 동기 및 목표

• 동적 물체와 습기 있는 바닥, 문 등 의미론적 제약 조건을 忽시하는 전통적인 SLAM 기반 주행의 한계를 해결한다.
• 주행을 위한 엔드 투 엔드 강화학습(RL)에서 내재된 샘플 비효율성, 낮은 일반화 능력, 해석 불가능성 문제를 극복한다.
• 자기지도학습 경험을 통해 공간적 접근성 맵을 학습하는 모듈러 프레임워크를 개발하여, 상용 기하학적 플래너와 함께 사용 가능하도록 한다.
• 정적 기하학적 맵이 실패하는 복잡하고 동적인 환경에서 위험 요소와 이동하는 에이전트가 존재하는 상황에서 성능을 향상시킨다.
• 활동적 학습을 통해 접근성 맵을 효율적으로 학습시켜 데이터 요구량을 줄이고, 위험 요소 근처의 경계 감지 능력을 향상시킬 수 있음을 입증한다.

제안 방법

• 동적 에이전트나 위험 요소로 인해 피해야 할 영역까지 포함한 주행 가능성 정보를 담은 공간적 접근성 맵을 예측할 수 있도록 신경망을 훈련한다.
• 비즈도وم 시뮬레이터에서 자기지도학습 상호작용을 활용해 경험을 수집하며, 동적 액터와 위험 요소가 포함된 무작위로 생성된 맵을 탐색한다.
• 기존 기하학적 맵에 학습된 접근성 맵을 융합하여 A* 또는 유사 알고리즘을 사용한 경로 계획을 위한 하이브리드 비용 맵을 생성한다.
• 정보성 탐색 경로를 선택하기 위해 활동적 학습을 적용하여 레이블 엔트로피를 최대화함으로써 데이터 효율성과 경계 감지 능력을 향상시킨다.
• 10만 개의 수집된 샘플을 기반으로 주행 가능성 모듈을 훈련시켜, 제한된 데이터 조건에서도 효율적인 계획 수립이 가능하도록 한다.
• 성공률과 손상도 지표를 사용하여 기하학적 기준 모델과 PPO 기반 RL 에이전트와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 강화학습(RL)에 비해 자기지도학습을 통한 접근성 맵 학습이 샘플 효율성과 일반화 능력 향상에 기여하는가?
• RQ2 기하학적 맵이 실패하는 동적이고 위험한 환경에서 접근성 맵이 성능 향상에 얼마나 기여하는가?
• RQ3 활동적 학습은 위험 경계 근처에서 접근성 맵 학습의 효율성과 정확도를 어떻게 향상시키는가?
• RQ4 기존 기하학적 플래너와 효과적으로 융합할 수 있는가? 이는 순수 기하학적 방법과 순수 RL 기반 방법보다 뛰어난 성능을 내는가?
• RQ5 다양하고 예측 불가능한 환경에서 접근성 맵는 RL에 비해 얼마나 더 뛰어난 이해 가능성과 강건성(로버스트니)을 보이는가?

주요 결과

• 비즈도움 시뮬레이터 내에서 탐색 작업에서 접근성 맵을 융합한 주행 방식은 전통적인 기하학적 방법 대비 60% 높은 성능을 기록했다.
• 위험 환경에서 주행 성공률이 최대 55% 향상되었으며, RL 기준 모델이 요구하는 데이터의 20%만으로도 성능을 달성했다.
• 활동적 학습은 데이터 요구량을 줄였다: 활동적으로 계획된 경로에서 수집한 데이터의 40%로 훈련된 모델이 무작위 샘플로 훈련된 모델보다 성능이 뛰어났다.
• 재계획수행 빈도가 10배 증가한 상황에서도 기하학적 기준 모델은 접근성 맵 기반 방법을 뛰어넘지 못했으며, 이는 그 방법의 강건성을 입증한다.
• PPO 기반 RL 에이전트는 경로 지점 지도를 받았음에도 불구하고, 모든 접근성 기반 방법보다 성능이 열등했으며, 이는 샘플 효율성과 일반화 능력에서 뚜렷한 우위를 보임을 시사한다.
• 접근성 맵는 위험 요소나 장애물 경계 근처에서 시간적 안정성과 예측 정확도를 크게 향상시켜, 더 좁고 안전한 주행 간격을 가능하게 했다.