[논문 리뷰] PPMC RL Training Algorithm: Rough Terrain Intelligent Robots through Reinforcement Learning

Tamir Blum, Kazuya Yoshida|arXiv (Cornell University)|2020. 03. 02.

Robotic Path Planning Algorithms참고 문헌 16인용 수 5

한 줄 요약

이 논문은 경사지고 불규칙한 지형에서 로봇이 종단 간 네비게이션과 제어를 학습할 수 있도록 하는 일반적인 강화학습 기반 프레임워크인 경로 계획 및 운동 제어 강화학습(PPMC RL) 훈련 알고리즘을 소개한다. 이 알고리즘은 바퀴형 및 4족 보행 로봇 모두에서 미리 보지 않은 불규칙한 지형 지ap에 대해 100% 성공률을 달성하여, 사전 환경 지식 없이도 강력한 일반화 능력과 보행 제어 성능을 입증한다.

ABSTRACT

Robots can now learn how to make decisions and control themselves, generalizing learned behaviors to unseen scenarios. In particular, AI powered robots show promise in rough environments like the lunar surface, due to the environmental uncertainties. We address this critical generalization aspect for robot locomotion in rough terrain through a training algorithm we have created called the Path Planning and Motion Control (PPMC) Training Algorithm. This algorithm is coupled with any generic reinforcement learning algorithm to teach robots how to respond to user commands and to travel to designated locations on a single neural network. In this paper, we show that the algorithm works independent of the robot structure, demonstrating that it works on a wheeled rover in addition the past results on a quadruped walking robot. Further, we take several big steps towards real world practicality by introducing a rough highly uneven terrain. Critically, we show through experiments that the robot learns to generalize to new rough terrain maps, retaining a 100% success rate. To the best of our knowledge, this is the first paper to introduce a generic training algorithm teaching generalized PPMC in rough environments to any robot, with just the use of reinforcement learning.

연구 동기 및 목표

• 경사지고 불규칙한 지형에서 경로 계획 및 운동 제어의 일반화를 가능하게 하는 일반적인 강화학습 훈련 알고리즘을 개발하는 것.
• PPMC RL 알고리즘이 로봇 구조나 보행 방식에 영향을 받지 않음을 입증하여, 이전의 4족 로봇에 국한된 연구를 초월하는 것.
• 훈련 환경보다 더 도전적인 지형을 포함해, 사전에 보지 않은 고도로 불규칙한 지형 지도에 대한 일반화 능력을 검증하는 것.
• 순수한 강화학습 훈련을 통해 달 표면 모의와 같은 실제 세계 유사 시뮬레이션 환경에서 높은 신뢰성과 성공률를 달성하는 것.
• 단일 신경망을 사용해 네비게이션과 제어를 종단 간 학습함으로써 수작업 설계된 제어 시스템에 대한 의존도를 줄이는 것.

제안 방법

• PPMC RL 훈련 알고리즘은 삼중 강화학습 아키텍처(에이전트, 사용자, 환경 구성 요소 포함)를 사용하여 경로 계획과 운동 제어를 하나의 딥 강화학습 정책으로 통합한다.
• 알고리즘은 사용자가 지정한 목표지점으로 향하는 데에 도움을 주며, 장애물을 피하고 불규칙한 지형에서 안정성을 유지하도록 유도하는 보상 함수를 사용한다.
• 훈련은 달 표면 조건을 모의한 매우 불규칙하고 흔들리는 지형 지도(Map 1)를 사용한 시뮬레이션 환경에서 수행된다.
• 정책은 안정적이고 효율적인 딥 강화학습 훈련을 위한 트러스트 영역 방법인 ACKTR 알고리즘을 사용해 훈련된다.
• 일반화 능력은 두 개의 새로운, 미리 보지 않은 불규칙한 지형 지도(Map 2 및 Map 3)에서 평가되며, 다양한 복잡한 지형 구조에서의 성능을 시험한다.
• 이 접근법은 바퀴형 CLOVER 로버와 이전에 테스트된 4족 로봇에서 모두 검증되어 아키텍처 독립성을 확인한다.

실험 결과

연구 질문

• RQ1 단일 강화학습 기반 훈련 알고리즘이 경로 계획 및 운동 제어에 대해 사전에 보지 않은 불규칙한 지형으로의 일반화를 가능하게 할 수 있는가?
• RQ2 PPMC RL 알고리즘이 바퀴형 및 다리형 플랫폼을 포함한 다양한 로봇 형태에서 높은 성능를 유지하는가?
• RQ3 에이전트가 순수한 강화학습을 통해 복잡한 불규칙한 지형에서 시계방향 및 반시계방향 전환을 모두 학습할 수 있는가?
• RQ4 순수한 종단 간 강화학습을 통해 다양한 사전에 보지 않은 불규칙한 지형 지도에서 네비게이션 성공률를 100%로 달성할 수 있는가?
• RQ5 이 알고리즘이 수작업 제어 시스템이나 환경 특화 튜닝에 대한 의존도를 어느 정도 줄이는가?

주요 결과

• PPMC RL 훈련 알고리즘은 3개의 새로운 불규칙한 지형 지도에서 각각 4개의 시작 위치를 가진 총 12개 테스트 케이스에서 100% 성공률를 달성하여 강력한 일반화 능력을 입증했다.
• 알고리즘은 바퀴형 로버(CLOVER)와 4족 로봇 모두가 복잡한 불규칙한 지형을 성공적으로 탐색하도록 가능하게 하여, 로봇 아키텍처에 독립적임을 확인했다.
• 에이전트는 불규칙한 지형에서 시계방향 및 반시계방향 전환을 모두 학습하여 효과적인 운동 제어 학습을 이룬 것으로 나타났다.
• 훈련 환경보다 더 흔들리거나 덜 흔들리는 지형에도 일반화되었으며, 환경 변화에 대한 강건성을 보였다.
• 전문가의 지시나 하이브리드 제어 시스템 없이도 높은 신뢰성과 성능를 유지하였으며, 순수한 강화학습에 의존하였다.
• 이 결과는 다양한 로봇 유형과 사전에 보지 않은 지도에서 순수한 강화학습 기반 일반화가 이루어진 최초의 사례로 간주된다.