[논문 리뷰] Integrating Algorithmic Planning and Deep Learning for Partially Observable Navigation

Péter Karkus, David Hsu외 1명|arXiv (Cornell University)|2018. 07. 17.

Robotic Path Planning Algorithms참고 문헌 27인용 수 5

한 줄 요약

이 논문은 부분 관측 가능한 로봇 주행을 위한 상태 추정, 계획, 제어를 통합하는 가분성 있고 엔드 투 엔드로 훈련 가능한 순환 신경망인 네비게이션 네트워크(NavNets)를 제안한다. 모델 기반 계획기와 가분성 있는 입자 필터라는 알고리즘 사전 지식을 딥 러닝 프레임워크에 통합함으로써, NavNets는 2D 지도와 단안 시각 관측만을 사용하여도 미리 보지 않은 3D 환경에서 성공적으로 주행을 학습하며, 시뮬레이션 환경 간의 일반화 성능을 보여준다.

ABSTRACT

We propose to take a novel approach to robot system design where each building block of a larger system is represented as a differentiable program, i.e. a deep neural network. This representation allows for integrating algorithmic planning and deep learning in a principled manner, and thus combine the benefits of model-free and model-based methods. We apply the proposed approach to a challenging partially observable robot navigation task. The robot must navigate to a goal in a previously unseen 3-D environment without knowing its initial location, and instead relying on a 2-D floor map and visual observations from an onboard camera. We introduce the Navigation Networks (NavNets) that encode state estimation, planning and acting in a single, end-to-end trainable recurrent neural network. In preliminary simulation experiments we successfully trained navigation networks to solve the challenging partially observable navigation task.

연구 동기 및 목표

• 로봇의 초기 위치가 알려져 있지 않고 시각 관측과 2D 지도로부터 유추되어야 하는 부분 관측 가능한 로봇 주행 문제를 해결하기 위해.
• 알고리즘적 구조를 직접 가분성 있는 신경망에 통합하여 모델 기반 계획과 모델 자유형 딥 러닝의 장점을 결합하기 위해.
• 부분 관측 조건 하에서 국소화, 계획, 동작 선택을 수행하는 통합 시스템을 엔드 투 엔드로 훈련 가능하게 하기 위해.
• 전문가의 시연와 시각 입력만을 사용하여도 새로운 3D 환경 간에 주행 정책을 일반화할 수 있도록 하기 위해.

제안 방법

• 상태 추정, 계획, 행동 수행을 하나의 가분성 프로그램으로 통합하는 순환 신경망인 새로운 아키텍처인 네비게이션 네트워크(이하 NavNets)를 제안한다.
• 가분성 있는 입자 필터를 사용하여 믿음 표현을 구현함으로써, 시각 관측과 2D 지도로부터 확률적 상태 추정을 가능하게 한다.
• 모델 기반 계획기(QMDP 유사)를 네트워크 내부에 통합하여 불확실성 하에서 미래 상태와 행동에 대해 추론할 수 있도록 한다.
• 과거 관측과 행동을 기억할 수 있도록 순환 아키텍처를 사용하여 부분 관측 조건 하에서 순차적 의사결정을 가능하게 한다.
• 전문가 시연의 지도 학습을 통해 전체 네트워크를 엔드 투 엔드로 훈련하며, 가분성 있는 구성 요소를 통해 역전파를 수행한다.
• 행동 선택 및 계획과 같은 비가분성 있는 연산에 대해 가분성 있는 근사(예: 소프트-아르그맥스)를 적용하여 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가분성 있는 신경망 아키텍처가 부분 관측 주행에 대해 계획과 학습을 효과적으로 통합할 수 있는가?
• RQ2 NavNets는 시각 관측과 2D 지도만을 사용하여도 새로운 3D 환경 간에 주행 정책을 일반화할 수 있는가?
• RQ3 계획기와 입자 필터와 같은 알고리즘 사전 지식을 통합함으로써 기존의 모델 자유형 강화학습 기법보다 성능 향상을 이룰 수 있는가?
• RQ4 현재 NavNet 설계의 한계는 예상치 못한 장애물 처리와 장기 계획 수행 능력에서 나타나는가?

주요 결과

• NavNets는 전문가 시연와 시각 입력만을 사용하여 시뮬레이션된 3D 환경에서 주행 정책을 성공적으로 학습하였으며, 새로운 미로 환경 간의 일반화 성능을 입증하였다.
• 특히 가분성 있는 계획기와 입자 필터를 포함한 알고리즘 사전 지식의 통합은 부분 관측 조건 하에서 효과적인 추론을 가능하게 하였으며, 복잡한 환경에서 기존의 모델 자유형 접근법을 능가하는 성능을 보였다.
• 초기 실험 결과에서 NavNets는 간단한 주행 과제에서는 높은 성공률를 기록하였지만, 더 복잡한 과제(Task C)에서는 장애물 회피 실패로 인해 성능이 열악한 편이었다.
• 실패의 주요 원인은 액터의 기억 부족과 전반적인 계획에 대한 인식 부족으로 나타났으며, 이는 더 풍부한 상태 표현과 더 긴 컨텍스트 윈도우가 필요함을 시사한다.
• 이 연구는 가분성 있는 구성 요소를 갖춘 통합 시스템의 엔드 투 엔드 훈련이 국소화, 계획, 제어의 공동 최적화를 가능하게 한다는 점을 입증하였다.
• 향후 향상 방향으로는 다단계 시각 기록과 더 큰 지역 계획 표현을 통합하여 반응형 장애물 회피 능력을 향상시킬 수 있을 것으로 제안된다.