[논문 리뷰] Deep Reinforcement Learning for Tensegrity Robot Locomotion

Marvin Zhang, Xinyang Geng외 6명|arXiv (Cornell University)|2016. 09. 28.

Structural Analysis and Optimization참고 문헌 30인용 수 11

한 줄 요약

이 논문은 반사 강하 지도 정책 탐색(MDGPS) 기반의 딥 강화 학습 방법을 제안하여 텐스그리티 로봇의 주기적 피드백 기반 이동 정책을 학습한다. 시뮬레이션에서 학습된 정책이 실제 환경 조건으로 일반화되어, 온보드 가속도계 피드백만으로도 물리적 SUPERball 로봇에서 첫 번째 연속적이고 신뢰할 수 있는 굴림 자세를 구현하였으며, 100초 이내로 최대 12미터의 이동을 달성하였다.

ABSTRACT

Tensegrity robots, composed of rigid rods connected by elastic cables, have a number of unique properties that make them appealing for use as planetary exploration rovers. However, control of tensegrity robots remains a difficult problem due to their unusual structures and complex dynamics. In this work, we show how locomotion gaits can be learned automatically using a novel extension of mirror descent guided policy search (MDGPS) applied to periodic locomotion movements, and we demonstrate the effectiveness of our approach on tensegrity robot locomotion. We evaluate our method with real-world and simulated experiments on the SUPERball tensegrity robot, showing that the learned policies generalize to changes in system parameters, unreliable sensor measurements, and variation in environmental conditions, including varied terrains and a range of different gravities. Our experiments demonstrate that our method not only learns fast, power-efficient feedback policies for rolling gaits, but that these policies can succeed with only the limited onboard sensing provided by SUPERball's accelerometers. We compare the learned feedback policies to learned open-loop policies and hand-engineered controllers, and demonstrate that the learned policy enables the first continuous, reliable locomotion gait for the real SUPERball robot. Our code and other supplementary materials are available from http://rll.berkeley.edu/drl_tensegrity

연구 동기 및 목표

• 복잡하고 과도하게 제어되지 않은 동역학을 가지며 수동 제어 방법으로는 제어하기 어려운 텐스그리티 로봇을 제어하는 데 도전한다.
• 수동으로 설계된 정책 클래스나 시연에 의존하지 않고도 자동으로 효율적인 주기적 이동 자세를 발견할 수 있는 학습 기반 접근법을 개발한다.
• 환경 조건, 시스템 파라미터, 센서 노이즈의 변화에 대해 견고한 일반화를 가능하게 하며, 특히 실제 환경에의 구현을 목표로 한다.
• 피드백 정책이 딥 강화 학습을 통해 학습된 결과가 개방 루프 정책과 수동으로 설계된 제어기보다도 견고성과 적응 능력 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 다양한 초기 상태에서 단순 정책을 순차적으로 학습시켜 안정적인 자세 행동을 포괄할 수 있도록 주기적 이동을 다루기 위해 미러 강하 지도 정책 탐색(MDGPS)을 확장한다.
• 깊이 신경망을 사용해 최종 정책를 표현함으로써, 센서 피드백에 적응하는 표현력 있는 닫힌 루프 제어를 가능하게 한다.
• 다양한 단기 수평 정책을 먼저 학습시켜 최종 정책의 강력한 초기화를 제공하는 커리큘럼 학습 전략을 구현한다.
• 시뮬레이션 환경을 활용해 실물 SUPERball 로봇에 직접 전이할 수 있도록 정책을 학습하며, 미세 조정이 최소한으로 필요하다.
• 실시간 적응을 가능하게 하기 위해 온보드 가속도계 피드백을 활용하여 시뮬레이션과 실제 하드웨어 간의 격차를 보완한다.
• 장기 수평 동안 정방향 이동, 에너지 효율성, 안정적인 주기적 운동을 장려하는 보상 형태 전략을 사용한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 정책 구조 없이 딥 강화 학습을 사용해 텐스그리티 로봇의 안정적이고 주기적인 이동 자세를 학습할 수 있는가?
• RQ2 시뮬레이션에서 학습된 정책가 센서 노이즈, 액추에이터 지연, 기계적 비선형성 등 실제 하드웨어의 특성과 함께 얼마나 잘 일반화되는가?
• RQ3 학습된 피드백 정책이 견고성과 적응 능력 면에서 개방 루프 정책과 수동으로 설계된 제어기보다 뛰어나게 성능을 발휘하는가?
• RQ4 재학습 없이도 중력, 지형, 로봇 파라미터의 변화에 대해 단일 정책이 일반화 가능한가?

주요 결과

• 학습된 피드백 정책은 물리적 SUPERball 로봇에서 연속적이고 신뢰할 수 있는 이동을 달성하여, 세 번의 시험에서 최대 12미터를 100초 이내로 이동하였다.
• 중력, 지형, 시스템 파라미터의 변화에 대해 효과적으로 일반화되어 환경 및 하드웨어 변화에 대한 견고성을 입증하였다.
• 시뮬레이션과 현실 간의 격차를 극복하기 위해 온보드 가속도계 피드백만을 사용해 실제 환경 조건에 성공적으로 적응하였다.
• 모터 동역학과 케이블 히스테리시스의 불일치로 인해 개방 루프 정책은 실제 로봇에서 완전히 실패하였으며, 피드백의 필요성을 강조하였다.
• 이전 제어기보다 위험도가 낮고 신뢰성이 높아 하드웨어 스트레스를 감소시키고 안전성을 향상시켰다.
• 단 몇백 번의 학습 시도만으로도 충분히 빠르게 학습이 가능하여, 향후 응용 분야에서 직접 실물 환경에서의 학습 가능성도 시사한다.