[논문 리뷰] TriFinger: An Open-Source Robot for Learning Dexterity

Manuel Wüthrich, Felix Widmaier외 13명|arXiv (Cornell University)|2020. 08. 08.

Robot Manipulation and Learning인용 수 16

한 줄 요약

이 논문은 실시간으로 안전하고 비지도 학습이 가능한 저비용(open-source) 로봇 플랫폼인 TriFinger를 소개한다. 이 플랫폼은 약 5,000달러의 비용으로 제작되며, 정교한 조작을 위한 설계가 되어 있으며, 1kHz에서 실시간 제어와 최적 제어를 가능하게 한다. 로봇에 종속되지 않는 소프트웨어를 통해 딥 강화학습을 구현하였고, 실제 환경에서의 훈련과 견고한 하드웨어 설계를 통해 글쓰기, 던지기, 큐브 조작 등의 작업에서 성공을 거두었다.

ABSTRACT

Dexterous object manipulation remains an open problem in robotics, despite the rapid progress in machine learning during the past decade. We argue that a hindrance is the high cost of experimentation on real systems, in terms of both time and money. We address this problem by proposing an open-source robotic platform which can safely operate without human supervision. The hardware is inexpensive (about \SI{5000}[\$]{}) yet highly dynamic, robust, and capable of complex interaction with external objects. The software operates at 1-kilohertz and performs safety checks to prevent the hardware from breaking. The easy-to-use front-end (in C++ and Python) is suitable for real-time control as well as deep reinforcement learning. In addition, the software framework is largely robot-agnostic and can hence be used independently of the hardware proposed herein. Finally, we illustrate the potential of the proposed platform through a number of experiments, including real-time optimal control, deep reinforcement learning from scratch, throwing, and writing.

연구 동기 및 목표

• 정교한 조작 분야에서 실제 환경에서의 로봇 실험 비용과 위험을 해결하기 위해.
• 하드웨어 및 운영 장벽을 낮춤으로써 대규모이고 재현 가능한 실제 로봇 강화학습을 가능하게 하기 위해.
• 정교한 조작 정책의 훈련과 벤치마킹을 위한 견고하고 오픈소스 플랫폼을 제공하기 위해.
• 통합된 하드웨어 내구성과 실시간 소프트웨어 안전 점검을 통해 안전하고 비지도 운영을 지원하기 위해.
• 연구소 간 공동 벤치마크로써 실제 환경에서의 정교한 조작 연구를 지원하기 위해.

제안 방법

• TriFinger 플랫폼은 시리즈 탄성 액추에이터와 고정밀 인코더를 갖춘 3개의 3-DOF 손가락을 특징으로 하며, 힘과 위치 감지를 가능하게 한다.
• 1kHz에서 실행되는 실시간 제어 스택은 예측 불가능한 제어 정책 동안 하드웨어 손상을 방지하기 위한 안전 점검을 수행한다.
• 소프트웨어 스택은 로봇에 종속되지 않으며, 실시간 제어와 딥 강화학습을 위한 C++ 및 파이썬 인터페이스를 지원한다.
• 최적 제어는 두 단계 접근법을 통해 구현되며, 토크 기반 모델을 사용해 원하는 끝단 힘을 계산하고, 위치/속도 피드백을 통한 자이로스코프 전치 제어를 통해 토크를 적용한다.
• 접촉 시 비끌림 및 비슬립 조건을 확보하기 위해 마찰 원뿔의 선형 근사치를 사용한다.
• PyBullet 기반의 시뮬레이션 환경을 제공하여 사전 훈련 및 정책 이행을 가능하게 한다.

실험 결과

연구 질문

• RQ1 저비용이고 오픈소스인 로봇 플랫폼이 정교한 조작을 위한 딥 강화학습 정책의 안전하고 비지도 훈련을 가능하게 할 수 있는가?
• RQ2 단일 플랫폼에서의 실제 데이터는 일반화 능력을 얼마나 향상시키고, 시뮬레이션-실세계 도메인 랜덤라이제이션을 얼마나 줄일 수 있는가?
• RQ3 이 플랫폼은 던지기나 정교한 조작과 같은 복잡하고 동적인 작업에 얼마나 효과적인가?
• RQ4 견고한 하드웨어와 실시간 안전 점검의 조합이 장기간 자율 실험을 가능하게 할 수 있는가?
• RQ5 TriFinger에서 훈련된 정책의 성능은 시뮬레이션에서 훈련된 정책과 비교해 어떻게 되는가?

주요 결과

• TriFinger 플랫폼은 700 에피소드(약 23분의 실제 환경 훈련 후)에 걸쳐 DDPG 에이전트를 처음부터 성공적으로 훈련시켜 평균 오차 약 2cm로 목표 위치에 도달했다.
• 시스템은 장기간에 걸쳐 안전하고 비지도 운영이 가능했으며, 한 대의 TriFingerPro 장치가 충돌과 무작위 운동을 반복해도 일주일 동안 고장 없이 지속적으로 작동했다.
• 플랫폼은 운동 감지 기반으로 가벼운 물체를 수미터 거리로 던지는 동적 작업을 성공적으로 수행했다.
• 운동 감지 기반으로 큐브 뒤집기, 균형 유지, 펜을 사용한 글쓰기와 같은 정교한 조작 작업이 성공적으로 수행되었다.
• 내구성 테스트 결과, 한 개의 손가락이 구조적 고장이 발생하기까지 72일 동안 연속 작동했다. 약점은 향후 개선 조치를 통해 보완되었다.
• 로봇에 종속되지 않는 소프트웨어 프레임워크는 새로운 하드웨어와의 원활한 통합을 가능하게 하며, 1kHz에서 실시간 제어와 딥 강화학습을 지원한다.