[논문 리뷰] Learning Modular Robot Control Policies

Julian Whitman, Matthew Travers외 1명|arXiv (Cornell University)|2021. 05. 20.

Modular Robots and Swarm Intelligence인용 수 5

한 줄 요약

이 논문은 동일한 모듈러 컴포넌트 세트로 구성된 다양한 로봇 설계를 한 번의 훈련된 정책으로 제어할 수 있도록 하는 그래프 신경망(GNN) 기반의 모듈러 정책 프레임워크를 제안한다. 로봇 운동학을 설계 그래프로 표현하고 동일한 모듈 간에 파라미터를 공유함으로써, 정책은 다양한 구성에 대해 맥락에 맞게 적응하며, 시뮬레이션과 실제 실험 모두에서 예측되지 않은 설계로의 효과적인 제로샷 일반화를 달성한다.

ABSTRACT

Modular robots can be rearranged into a new design, perhaps each day, to handle a wide variety of tasks by forming a customized robot for each new task. However, reconfiguring just the mechanism is not sufficient: each design also requires its own unique control policy. One could craft a policy from scratch for each new design, but such an approach is not scalable, especially given the large number of designs that can be generated from even a small set of modules. Instead, we create a modular policy framework where the policy structure is conditioned on the hardware arrangement, and use just one training process to create a policy that controls a wide variety of designs. Our approach leverages the fact that the kinematics of a modular robot can be represented as a design graph, with nodes as modules and edges as connections between them. Given a robot, its design graph is used to create a policy graph with the same structure, where each node contains a deep neural network, and modules of the same type share knowledge via shared parameters (e.g., all legs on a hexapod share the same network parameters). We developed a model-based reinforcement learning algorithm, interleaving model learning and trajectory optimization to train the policy. We show the modular policy generalizes to a large number of designs that were not seen during training without any additional learning. Finally, we demonstrate the policy controlling a variety of designs to locomote with both simulated and real robots.

연구 동기 및 목표

• 각기 다른 모듈러 로봇 설계에 대해 개별 제어 정책을 훈련하는 데 발생하는 확장성 문제를 해결한다.
• 동일한 모듈의 어떤 구성에도 적응할 수 있는 단일 정책을 학습함으로써, 모듈러 로봇의 플러그 앤 플레이 제어를 가능하게 한다.
• 로봇 설계의 구조적 유사성(그래프로 표현)을 활용하여 모듈 간 지식을 공유하고 일반화 능력을 향상시킨다.
• 재훈련 없이 다양한 로봇 형태에 걸쳐 효율적으로 정책을 훈련할 수 있는 모델 기반 강화학습(MBRL) 알고리즘을 개발한다.
• 훈련 중에 볼 수 없었던 새로운 로봇 설계로의 효과적인 제로샷 전이를 입증한다.

제안 방법

• 모듈러 로봇의 운동학적 구조를 모듈을 노드로, 연결을 간선으로 하는 설계 그래프로 표현한다.
• 설계 그래프와 동일한 토폴로지를 가진 정책 그래프를 구성하며, 각 노드는 딥 네ural 네트워크를 포함하고, 동일한 모듈 유형은 파라미터를 공유한다.
• 그래프 신경망(GNN)을 사용해 그래프 간선을 따라 메시지 전달을 통해 모듈 간 통신을 가능하게 하여 맥락 인식 행동 적응을 가능하게 한다.
• 모델 학습과 궤적 최적화를 번갈아 수행하는 모델 기반 강화학습(MBRL) 알고리즘을 개발하여 샘플 효율적인 훈련을 달성한다.
• 로봇의 설계 그래프에 조건을 주어 하드웨어 조건부 정책을 생성함으로써, 구성에 따라 동적으로 행동을 조정할 수 있도록 한다.
• 전문가 시뮬레이션(TrjOpt를 통한)과 반복적인 모델 학습 및 최적화를 조합하여 샘플 효율성을 향상시킨다.

Figure 1 : A set of modular components, a body, legs, and wheels, (top) can be combined to form many robot designs (middle). These designs can be represented by graphs (bottom). Our modular policy learning algorithm leverages the graph structure common to all such modular designs, enabling us to con

실험 결과

연구 질문

• RQ1 재훈련 없이도 다양한 모듈러 로봇 설계에 걸쳐 일반화할 수 있는 단일 제어 정책을 훈련할 수 있는가?
• RQ2 비구조적 기반 대비 그래프 구조 정책에서 동일한 모듈 간 파라미터 공유가 얼마나 효과적인가?
• RQ3 학습 중에 볼 수 없었던 새로운 로봇 구성으로의 정책 전이가 얼마나 효과적으로 이루어지는가?
• RQ4 그래프 기반 메시지 전달이 완전히 연결되거나 비구조적인 아키텍처에 비해 정책 성능과 적응 능력을 향상시키는가?
• RQ5 모델 기반 강화학습(MBRL) 프레임워크가 모델리스 대비 샘플 효율성과 성능 면에서 어떻게 비교되는가?

주요 결과

• 제안된 GNN 기반 모듈러 정책는 훈련 중에 볼 수 없었던 새로운 로봇 설계로의 효과적인 제로샷 일반화를 달성하였으며, 다양한 구성에서 하드웨어 조건부 MLP 기반 대비 뛰어난 성능을 보였다.
• GNN 정책는 다리 수가 많아지고 바퀴 수가 줄어들수록 성능 저하가 MLP 기반 대비 현저히 덜 발생하였다.
• 속도 일치 지표는 GNN 정책가 복잡한 구성(예: 육각형 다리 로봇 및 다리-바퀴 하이브리드)을 포함한 광범위한 설계에서 높은 성능(평균 V > 0.9)을 유지함을 보여주었다.
• 모델 기반 강화학습 프레임워크는 환경 상호작용 횟수를 줄이며 효율적인 훈련을 가능하게 하였으며, 각 설계당 약 750~1000회의 전문가 롤아웃을 통해 안정적인 정책 학습을 달성하였다.
• 그래프 기반 파라미터 공유 덕분에 모듈이 기능적 역할(예: 앞다리 vs 뒷다리)에 따라 자동으로 행동을 적응시켜, 조율성과 이동 안정성을 향상시켰다.
• 실제 실험에서 정책는 여러 개의 물리적 로봇 설계를 성공적으로 제어하였으며, 시뮬레이션을 초월한 강건성과 전이 가능성(이행성)을 입증하였다.

(a)