[논문 리뷰] Hierarchical Learning for Modular Robots

Risto Kojcev, Nora Etxezarreta외 2명|arXiv (Cornell University)|2018. 02. 12.

Modular Robots and Swarm Intelligence참고 문헌 10인용 수 4

한 줄 요약

이 논문은 메타학습 공유 계층(Meta-Learning Shared Hierarchies, MLSH)을 사용하는 계층적 딥 강화학습 접근법을 제안하여, 다양한 구성(3DoF 및 4DoF)과 작업(목표 위치 도달) 간에 일반화할 수 있도록 모듈러 로봇이 학습할 수 있도록 한다. 이 방법은 작업별로 특화된 하위정책(모터 프리미티브)을 선택하는 마스터 정책을 훈련시켜, 최소한의 재훈련으로 시뮬레이션 및 실제 실험 모두에서 정확한 목표 도달을 달성한다.

ABSTRACT

We argue that hierarchical methods can become the key for modular robots achieving reconfigurability. We present a hierarchical approach for modular robots that allows a robot to simultaneously learn multiple tasks. Our evaluation results present an environment composed of two different modular robot configurations, namely 3 degrees-of-freedom (DoF) and 4DoF with two corresponding targets. During the training, we switch between configurations and targets aiming to evaluate the possibility of training a neural network that is able to select appropriate motor primitives and robot configuration to achieve the target. The trained neural network is then transferred and executed on a real robot with 3DoF and 4DoF configurations. We demonstrate how this technique generalizes to robots with different configurations and tasks.

연구 동기 및 목표

• 계층적 강화학습을 사용하여 모듈러 로봇이 여러 구성과 작업 간에 학습하고 일반화할 수 있도록 하는 것.
• 공유 정책 구조가 새로운 로봇 구성과 목표 위치에 빠르게 적응하는 데 기여하는지 평가하는 것.
• 학습된 하위정책(모터 프리미티브)이 다양한 DoF와 목표 목표지점 간에 이식 가능한지 검증하는 것.
• 물리적 모듈러 로봇에서 계층적 방법의 실제 적용 가능성을 입증하는 것.
• 마스터 정책이 동일한 구성-목표 쌍에 대해 일관되게 동일한 하위정책 순서를 선택하는지 여부를 조사하여, 학습된 모터 프리미티브를 확인하는 것.

제안 방법

• 이 방법은 메타학습 공유 계층(Meta-Learning Shared Hierarchies, MLSH)을 활용하며, 공유 정책 벡터 φ가 작업 간 최적화되고, 작업별 특화된 매개변수 θ가 하위정책 선택에 사용된다.
• 훈련은 두 단계로 진행되며, 첫 번째 단계는 하위정책을 고정하고 마스터 정책만 업데이트하는 웜업 단계이며, 두 번째 단계는 θ와 φ 모두를 동시에 개선하는 공동 업데이트 단계이다.
• 계층적 정책 구조는 5개 타임스텝 동안 지속되는 매크로 액션(옵션)을 사용하며, 2개의 구성 × 2개의 목표에 대해 4개의 하위정책을 훈련시킨다.
• 스토케스틱 정책 πφ,θ(a|s)를 사용하며, 마스터 정책이 현재 상태에 따라 하위정책 중 하나를 선택한다.
• 이 방법은 작업 간 공유되는 모터 프리미티브를 활용하여, 새로운 구성과 목표에 대한 빠른 적응을 가능하게 한다.
• 신경망은 먼저 시뮬레이션에서 훈련된 후, 3DoF 및 4DoF 구성의 실제 스카라형 모듈러 로봇에 배포된다.

실험 결과

연구 질문

• RQ1 공유 정책 매개변수를 사용하는 계층적 강화학습 방법이 다양한 모듈러 로봇 구성(3DoF 및 4DoF) 간에 일반화할 수 있는가?
• RQ2 마스터 정책이 동일한 구성과 목표에 대해 항상 동일한 하위정책 순서를 선택하는가? 이는 학습된 모터 프리미티브를 의미하는가?
• RQ3 훈련된 네트워크가 시뮬레이션과 실제 실행 모두에서 얼마나 정확하게 목표 위치에 도달하는가?
• RQ4 다양한 로봇 형태에서 시뮬레이션에서 실제 하드웨어로의 전이 성능는 어떠한가?
• RQ5 공유 정책 구조가 재훈련 없이도 새로운 작업에 대해 빠른 적응을 가능하게 하는가?

주요 결과

• 훈련된 MLSH 네트워크는 3DoF 및 4DoF 실제 로봇 구성 모두에서 목표 위치에 성공적으로 도달했으며, 평균 오차는 O 중심에서 31.06 mm, H 중심에서 60.36 mm였다.
• 시뮬레이션에서는 거의 완벽한 수렴 성능를 보였으며, 3DoF의 경우 표준편차가 2×10⁻⁷ mm 이하, 4DoF의 경우 3.49×10⁻¹⁵ mm 이하로 매우 높은 안정성을 나타냈다.
• 마스터 정책는 각 구성-목표 쌍에 대해 항상 동일한 하위정책 순서를 선택했으며, 이는 하위정책이 일반화된 모터 프리미티브를 나타낸다는 가설을 지지한다.
• 이 방법은 시뮬레이션에서 실제 하드웨어로의 효과적인 전이를 보였으며, 실제 로봇 성능이 시뮬레이션 결과와 매우 유사했다.
• 4DoF 구성은 3DoF보다 더 높은 오차(37.02 mm for O, 48.82 mm for H)를 보였는데, 이는 증가된 복잡성과 기계적 차이 때문일 가능성이 높다.
• 최종 10개의 종단기구 위치의 표준편차는 ±0.15 mm 이하로 낮아, 수렴 후 안정적이고 반복 가능한 궤적을 보였다.