[논문 리뷰] Data-efficient Co-Adaptation of Morphology and Behaviour with Deep Reinforcement Learning

Kevin Sebastian Luck, Heni Ben Amor외 1명|arXiv (Cornell University)|2019. 11. 15.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 이전 경험을 활용하여 새로운 형태의 성능을 예측함으로써, 시뮬레이션을 통해 각 설계를 평가하지 않고도 기대 보상을 추정할 수 있는 소프트 액터-크리틱(SAC) 프레임워크를 사용하여 자동으로 로봇 형태와 행동을 공적응화하는 데이터 효율적인 딥 강화학습 방법을 제안한다. 학습된 크리틱을 통해 각 설계의 성능를 시뮬레이션 없이 추정함으로써, 이 방법은 필요한 프로토타입 수를 최대 3개의 자리수 감소시켰으며, 기준 시뮬레이션 대비 50개의 설계로만 near-optimal 성능을 달성하였다.

ABSTRACT

Humans and animals are capable of quickly learning new behaviours to solve new tasks. Yet, we often forget that they also rely on a highly specialized morphology that co-adapted with motor control throughout thousands of years. Although compelling, the idea of co-adapting morphology and behaviours in robots is often unfeasible because of the long manufacturing times, and the need to re-design an appropriate controller for each morphology. In this paper, we propose a novel approach to automatically and efficiently co-adapt a robot morphology and its controller. Our approach is based on recent advances in deep reinforcement learning, and specifically the soft actor critic algorithm. Key to our approach is the possibility of leveraging previously tested morphologies and behaviors to estimate the performance of new candidate morphologies. As such, we can make full use of the information available for making more informed decisions, with the ultimate goal of achieving a more data-efficient co-adaptation (i.e., reducing the number of morphologies and behaviors tested). Simulated experiments show that our approach requires drastically less design prototypes to find good morphology-behaviour combinations, making this method particularly suitable for future co-adaptation of robot designs in the real world.

연구 동기 및 목표

• 로봇 설계에서 물리적 프로토타입 제작의 높은 비용과 시간을 해결하기 위해 형태와 행동의 데이터 효율적인 공적응화를 가능하게 한다.
• 설계 후보자에 대한 시뮬레이션 기반 평가에 의존도를 최소화하여 시뮬레이션과 현실 간 격차를 극복한다.
• 높은 성능을 보이는 형태-행동 조합을 발견하기 위해 필요한 물리적 또는 시뮬레이션 프로토타입의 수를 줄인다.
• 설계 과정의 확장성과 효율성을 확보하여 공적응화된 로봇의 실세계 적용을 가능하게 한다.
• 이전에 테스트된 형태의 경험을 활용하여 새로운 고성능 설계의 탐색을 안내하고, 설계 최적화의 샘플 효율성을 향상시킨다.

제안 방법

• 형태 매개변수를 정책 네트워크의 입력으로 사용하여 형태와 행동 정책을 함께 최적화하기 위해 소프트 액터-크리틱(SAC) 알고리즘을 사용한다.
• 모든 형태와 상태에 대해 기대 수익(Q-값)을 추정하기 위해 크리틱 네트워크를 훈련시켜, 시뮬레이션 없이도 성능를 예측할 수 있도록 한다.
• 크리틱의 Q-값을 바탕으로 설계 최적화 목표를 설정함으로써, 시뮬레이션에서 실행하지 않고도 유망한 형태를 선별할 수 있도록 한다.
• 주성분 분석(PCA)을 사용하여 형태 매개변수 전역에서 보상 지도를 시각화하고, 성능 추세를 식별한다.
• 256개의 초기 설계를 배치로 사용하여 크리틱과 정책을 훈련한 후, 크리틱이 예측한 기대 성능에 기반해 새로운 설계를 반복적으로 선택한다.
• 집단 기반의 시뮬레이션 시험을 단일의 지속적으로 업데이트되는 액터-크리틱 시스템으로 대체하여, 함수 근사 기반으로 후보 형태를 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 프로토타입 수를 줄이며 형태와 행동을 데이터 효율적으로 공적응화할 수 있는가?
• RQ2 학습된 크리틱을 사용하여 형태 성능를 예측하는 것이 기존의 시뮬레이션 기반 평가에 비해 샘플 효율성과 최종 성능 측면에서 어떻게 비교되는가?
• RQ3 이전에 테스트된 형태의 경험을 얼마나 효과적으로 활용하여 새로운 고성능 설계를 탐색할 수 있는가?
• RQ4 형태 매개변수의 보상 지도를 효과적으로 시각화할 수 있는가? 이를 통해 설계 성능 추세에 대한 통찰을 얻을 수 있는가?
• RQ5 설계 최적화 중 시뮬레이션의 필요성을 최소화함으로써, 제안된 방법이 시뮬레이션과 현실 간 격차를 줄이는가?

주요 결과

• Half-Cheetah 작업에서 제안된 방법은 기준 시뮬레이션 대비 50개의 설계 평가로만 이루어졌으며, 24,177개의 설계 평가가 필요한 기준 대비 유사하거나 더 높은 성능를 달성하였다.
• 설계 최적화 중에 시뮬레이션을 전혀 필요로 하지 않았으며, 크리틱 네트워크가 직접 성능를 예측함으로써 계산 비용과 시간 비용을 극적으로 감소시켰다.
• 보상 지도의 시각화 결과, 짧은 앞다리 및 뒷다리 세그먼트가 더 높은 기대 보상을 가진다는 것이 드러났으며, 이는 실질적인 설계 통찰을 제공하였다.
• 무작위 설계 샘플링보다 우수한 샘플 효율성을 보였으며, 인구 크기가 256인 OpenAI-ES의 성능를 따라하거나 초월하여 더 뛰어난 샘플 효율성을 입증하였다.
• 크리틱 네트워크의 형태 간 일반화 능력 덕분에, 각 후보자에 대해 재학습하거나 시뮬레이션 없이도 설계 공간의 효과적인 탐색이 가능하였다.
• 필요한 프로토타입 수를 약 3개의 자리수 감소시켜, 형태와 행동의 실세계 공적응화를 실현 가능하게 하였다.