[논문 리뷰] Learning Navigation Behaviors End-to-End with AutoRL

Hao-Tien Lewis Chiang, Aleksandra Faust외 2명|arXiv (Cornell University)|2018. 09. 26.

Robotic Path Planning Algorithms참고 문헌 39인용 수 4

한 줄 요약

이 논문은 종단 간 내비게이션 정책을 위한 보상 형상 조정과 신경망 아키텍처를 동시에 최적화하는 자동 강화 학습 프레임워크인 AutoRL을 제안한다. 소규모 정적 환경에서 시뮬레이션으로 훈련된 후, 이로 생성된 점에서 점으로 이동 및 경로 따라가기 정책은 실제 세계의 크고 새로운 환경에서 기준보다 각각 23%와 26% 높은 성공률을 기록하여 노이즈와 동적 장애물에 대한 강건성을 입증한다.

ABSTRACT

We learn end-to-end point-to-point and path-following navigation behaviors that avoid moving obstacles. These policies receive noisy lidar observations and output robot linear and angular velocities. The policies are trained in small, static environments with AutoRL, an evolutionary automation layer around Reinforcement Learning (RL) that searches for a deep RL reward and neural network architecture with large-scale hyper-parameter optimization. AutoRL first finds a reward that maximizes task completion, and then finds a neural network architecture that maximizes the cumulative of the found reward. Empirical evaluations, both in simulation and on-robot, show that AutoRL policies do not suffer from the catastrophic forgetfulness that plagues many other deep reinforcement learning algorithms, generalize to new environments and moving obstacles, are robust to sensor, actuator, and localization noise, and can serve as robust building blocks for larger navigation tasks. Our path-following and point-to-point policies are respectively 23% and 26% more successful than comparison methods across new environments. Video at: https://youtu.be/0UwkjpUEcbI

연구 동기 및 목표

• 다양한 환경과 센서 노이즈 수준에서 일반화할 수 있는 스케일링 가능한 자동화된 방법을 개발하여 종단 간 내비게이션 정책을 훈련시키는 것.
• 로봇 내비게이션을 위한 딥 강화 학습에서 희박한 보상과 낮은 일반화 능력 문제를 해결하기 위해 보상 및 아키텍처 검색을 자동화하는 것.
• 센서, 액추에이터, 위치 추정 노이즈에 강건한 정책을 만들고 시뮬레이션에서 실제 세계로의 전이를 효과적으로 수행하는 것.
• 명시적인 장애물 속도 정보나 복잡한 운동 계획 스택 없이도 정적 및 이동 장애물을 모두 회피할 수 있는 정책을 제공하는 것.
• 전문가가 설계한 보상 함수와 네트워크 아키텍처를 대체하여 대규모 하이퍼파rameter 최적화를 통한 수동 하이퍼파rameter 튜닝을 줄이는 것.

제안 방법

• AutoRL는 기울기 기반 최적화가 아닌, 진화적 하이퍼파rameter 최적화(예: CMA-ES)를 사용하여 보상 함수와 신경망 아키텍처를 동시에 탐색한다.
• 이 방법은 먼저 시뮬레이션에서 작업 완료를 극대화하는 보상 함수를 최적화한 후, 보상 함수를 고정하고 최적의 신경망 아키텍처를 탐색한다.
• 정책은 라이다 관측치와 속도 출력을 사용하여 딥 강화 학습(DDPG)으로 훈련되며, 5 Hz에서 작동한다.
• 보상 함수는 학습 가능한 계수로 매aram터화되며, 목표까지의 거리, 장애물에서의 간격, 경로 이탈 정도 등의 항목을 포함한다.
• 신경망 아키텍처는 층의 너비로 정의되며(예: P2P에 대해 [50, 20, 10]), AutoRL은 이러한 하이퍼파rameter를 탐색하여 누적 수익을 극대화한다.
• 훈련 중에 노이즈를 주입하여 실제 세계 조건을 시뮬레이션한다: 센서 노이즈(σ_Lidar = 0.3 m), 액추에이터 노이즈(σ_Speed = 0.1 m/s, σ_Turning = 0.1 rad/s), 위치 추정 노이즈(σ_Localize = 0.1 m).

실험 결과

연구 질문

• RQ1 자동화된 방법이 종단 간 내비게이션 정책의 일반화를 향상시키기 위해 보상 형상 조정과 신경망 아키텍처를 동시에 최적화할 수 있는가?
• RQ2 AutoRL로 훈련된 정책는 동적 장애물과 센서 노이즈가 있는 크고 이전에 본 적 없는 큰 환경으로 얼마나 잘 일반화되는가?
• RQ3 AutoRL는 DWA, APF, BC와 같은 수작업으로 튜닝된 기준 정책과 비교해 시뮬레이션과 실제 로봇 배포 환경에서 성공률과 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 AutoRL 정책는 다양한 노이즈 수준과 환경 복잡도에서 잊혀짐을 방지하고 성능을 유지할 수 있는가?
• RQ5 PRM로 생성된 웨이포인트를 사용한 경로 가이던스는 이동 장애물이 있는 경로 따라가기 작업에서 성능을 향상시키는가?

주요 결과

• AutoRL 정책는 세 개의 크고 새로운 실제 세계 환경에서 점에서 점으로 이동 작업에서 기준보다 26% 높은 성공률, 경로 따라가기 작업에서 23% 높은 성공률을 기록했다.
• 정책는 훈련 환경보다 6.8배에서 30.1배 더 큰 환경으로도 일반화되었으며, 특별한 튜닝 없이도 성공했다.
• 실제 Fetch 로봇에서 정책는 동적 환경에서 80미터 이상의 경로를 충돌 없이 주행하는 데 성공했다.
• 정책는 센서, 액추에이터, 위치 추정 노이즈에 강건했으며, 높은 노이즈 수준에서도 성능 저하 없이 작동했다.
• AutoRL 정책는 시뮬레이션과 실제 세계 평가에서 모두 수작업 튜닝된 DDPG, APF, DWA, 행동 복제 기준 정책보다 뛰어난 성능을 보였다.
• 이 방법은 치명적인 잊혀짐을 효과적으로 방지하여 다양한 훈련 및 평가 조건에서 높은 성능을 유지했다.