[논문 리뷰] Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning

Ayaka Kume, Eiichi Matsumoto외 3명|arXiv (Cornell University)|2017. 10. 17.

Reinforcement Learning in Robotics참고 문헌 30인용 수 9

한 줄 요약

이 논문은 지도 기반 다중 정책 강화 학습(MMPRL)을 제안한다. 이 방법은 딥 강화 학습을 사용해 다양한 로봇 제어 정책을 행동-성능 지도에 사전 훈련하고 저장한다. 베이지안 최적화를 통해 재훈련 없이 사전에 학습된 정책 중에서 빠르게 선택함으로써, MMPRL은 환경 변화나 신체 손상 상황에서 빠르게 복구할 수 있으며, 단일 정책 접근 방식보다 다양한 실패 시나리오에서 뛰어난 성능을 보인다.

ABSTRACT

In order for robots to perform mission-critical tasks, it is essential that they are able to quickly adapt to changes in their environment as well as to injuries and or other bodily changes. Deep reinforcement learning has been shown to be successful in training robot control policies for operation in complex environments. However, existing methods typically employ only a single policy. This can limit the adaptability since a large environmental modification might require a completely different behavior compared to the learning environment. To solve this problem, we propose Map-based Multi-Policy Reinforcement Learning (MMPRL), which aims to search and store multiple policies that encode different behavioral features while maximizing the expected reward in advance of the environment change. Thanks to these policies, which are stored into a multi-dimensional discrete map according to its behavioral feature, adaptation can be performed within reasonable time without retraining the robot. An appropriate pre-trained policy from the map can be recalled using Bayesian optimization. Our experiments show that MMPRL enables robots to quickly adapt to large changes without requiring any prior knowledge on the type of injuries that could occur. A highlight of the learned behaviors can be found here: https://youtu.be/QwInbilXNOE .

연구 동기 및 목표

• 환경적 변화나 신체적 손상에 노출된 로봇에서 단일 정책 기반 딥 강화 학습의 제한된 적응 능력을 해결하기 위해.
• 재훈련 없이 사전 학습된 정책을 활용해 예기치 않은 부상이나 교란 상황에 빠르게 적응할 수 있도록 하기 위해.
• 외부 지원이 불가능하고 시간이 매우 중요한 임무 핵심 로봇 작업에서의 내성적 강건성을 향상시키기 위해.
• 행동 특성 기반으로 다차원 이산 지도에 정책을 저장하여 적응 시 빠른 검색을 가능하게 하기 위해.
• 다중 정책 학습이 다양한 실패 및 환경 시나리오에서 단일 정책 DDPG보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• MMPRL은 딥 강화 학습(DDPG)을 사용해 각각 다른 행동 특성을 지닌 다수의 다양한 정책을 훈련한다.
• 정책들은 걸음걸이 유형, 속도, 안정성 등의 행동 기술자로 인덱싱된 다차원 이산 지도에 저장된다.
• 적응은 현재 상태에 맞는 최적의 사전 훈련된 정책을 선택하기 위해 베이지안 최적화(M-BOA)를 사용해 지도를 쿼리함으로써 달성된다.
• 이 방법은 행동-성능 지도를 활용해 훈련 중 정책의 다양성을 확보하고 중복을 방지한다.
• 지도 생성 과정에서 탐색을 향상시키기 위한 향후 최적화로 궁금증 기반 보상 항목을 제안한다.
• 시스템은 온라인 재훈련에 비용이 많이 들기 때문에 사전 계산된 정책 라이브러리에서 선택함으로써 실시간 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 정책 DRL에 비해 다중 정책 접근 방식이 예기치 않은 환경 변화나 신체 손상에 대한 로봇의 적응 능력을 향상시키는가?
• RQ2 사전 훈련된 정책 라이브러리가 재훈련 없이 얼마나 효율적으로 빠른 적응을 가능하게 하는가?
• RQ3 지ap에 존재하는 정책의 다양성이 다양한 실패 모드에서 성능에 얼마나 기여하는가?
• RQ4 시간 제약 조건 하에서 베이지안 최적화가 지도에서 최적의 정책을 효과적으로 선택할 수 있는가?
• RQ5 고차원 정책 학습에서 MMPRL은 표준 DDPG 및 MAP-Elites에 비해 어떻게 비교되는가?

주요 결과

• 다리 관절이 정지된 경우 MMPRL은 평균 3.5회 시도(하드웨어에서 11.4초) 내에 적응을 달성했으며, 100회 시행 중 90% 이상의 성공률을 기록했다.
• 더 복잡한 장애 상황인 여러 발가락을 失하는 경우(예: T3, T25), 평균 27.3회 시도(90.1초)가 소요되었으며, 이는 실세계 구현에 있어 여전히 수용 가능한 수준이었다.
• 예상치 못한 변화, 예를 들어 관측 지연(D)이나 경사진 지형(S)과 같은 상황에서도 MMPRL은 행동 기술자에 포함되지 않은 요소들에 대해서도 성공적으로 적응했다.
• 시험 케이스의 80%에서 MMPRL은 적응 후 단일 DDPG 정책보다 뛰어난 성능을 보였으며, 특히 더 높은 계단을 올라가는 어려운 상황에서 두드러졌다.
• 간단한 경우(T3)에서는 ρ=0.2에서 최고의 정책 선택이 이루어졌고, 엄격한 시도 제한(5~10회) 조건에서는 ρ=0.4가 더 효과적이었으며, 이는 적응 과정의 조정 가능성을 보여주었다.
• 일부 단독 DDPG 정책는 정상 조건에서는 개별 MMPRL 정책를 초월했지만, 다른 시나리오에서는 실패했으며, 이는 MMPRL의 다중 정책 전략이 우월함을 입증했다.