[논문 리뷰] Hardware Conditioned Policies for Multi-Robot Transfer Learning

Tao Chen, Adithyavairavan Murali외 1명|arXiv (Cornell University)|2018. 11. 24.

Adversarial Robustness in Machine Learning인용 수 33

한 줄 요약

이 논문은 로봇 하드웨어의 학습된 또는 명시적인 벡터 표현에 조건을 부여하는 단일 보편 정책을 훈련시키는 하드웨어 조건 정책(HCP)을 제안한다. 이는 새로운 로봇으로의 제로샷 전이와 샘플 효율적인 피니팅을 가능하게 한다. 주요 기여는 백프로파게이션을 통한 암묵적 하드웨어 임베딩이 진정한 운동학 및 역학 정보를 사용하는 모델과 비교해 유사한 성능을 달성함으로써, 하드웨어별 재훈련 없이도 강력한 다중로봇 전이를 가능하게 한다.

ABSTRACT

Deep reinforcement learning could be used to learn dexterous robotic policies but it is challenging to transfer them to new robots with vastly different hardware properties. It is also prohibitively expensive to learn a new policy from scratch for each robot hardware due to the high sample complexity of modern state-of-the-art algorithms. We propose a novel approach called extit{Hardware Conditioned Policies} where we train a universal policy conditioned on a vector representation of robot hardware. We considered robots in simulation with varied dynamics, kinematic structure, kinematic lengths and degrees-of-freedom. First, we use the kinematic structure directly as the hardware encoding and show great zero-shot transfer to completely novel robots not seen during training. For robots with lower zero-shot success rate, we also demonstrate that fine-tuning the policy network is significantly more sample-efficient than training a model from scratch. In tasks where knowing the agent dynamics is important for success, we learn an embedding for robot hardware and show that policies conditioned on the encoding of hardware tend to generalize and transfer well. The code and videos are available on the project webpage: https://sites.google.com/view/robot-transfer-hcp.

연구 동기 및 목표

• 로봇 분야에서 딥 강화 학습 정책의 높은 샘플 복잡성과 하드웨어에 종속적인 성질을 해결하기 위해.
• 다른 운동학적 구조, 자유도 및 역학을 가진 로봇 간에 다시 시작부터 재훈련 없이 정책 전이를 가능하게 하기 위해.
• 작은 하드웨어 표현에 조건을 부여함으로써 다양한 로봇에 일반화되는 보편 정책을 개발하기 위해.
• 암묵적 하드웨어 임베딩이 명시적인 측정 없이도 핵심적인 역학 및 운동학 정보를 포착할 수 있음을 보여주기 위해.
• 새로운 로봇의 하드웨어 임베딩을 사용해 정책를 피니팅하는 것이 다시 시작부터 훈련하는 것보다 샘플 복잡성을 크게 줄일 수 있음을 보여주기 위해.

제안 방법

• 정책는 현재 상태와 하드웨어 벡터 표현 $v_h$의 함수로 정의되며, 하드웨어 조건 정책 결정을 가능하게 한다.
• 명시적 인코딩(HCP-E)의 경우, 로봇의 운동학적 구조가 직접 $v_h$로 사용되며, 새로운 로봇으로의 제로샷 전이를 가능하게 한다.
• 암묵적 인코딩(HCP-I)의 경우, 경험을 통해 신경망이 하드웨어의 저차원 임베딩을 학습하여 역학 및 운동학을 암묵적으로 포착한다.
• 하드웨어 임베딩은 정책 훈련 중에 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 다양한 로봇 유형 간에 공유된 인코더를 사용한다.
• 피니팅은 제한된 상호작용 데이터를 사용해 새로운 로봇의 정책 네트워크와 하드웨어 임베딩을 모두 업데이트함으로써 수행된다.
• 이 방법은 PPO를 기반으로 한 강화 학습 알고리즘을 사용해 다양한 로봇(다른 토르소 질량, 링크 길이, DOF를 가짐)을 포함한 시뮬레이션 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 다양한 운동학적 및 역학적 성질을 가진 로봇 간에 일반화할 수 있는 단일 보편 정책를 훈련시킬 수 있는가?
• RQ2 학습 기간 동안 볼 수 없었던 로봇으로의 제로샷 전이를 위해 학습된 하드웨어 임베딩에 정책를 조건화하는 것이 가능한가?
• RQ3 암묵적 하드웨어 임베딩은 명시적 운동학 인코딩과 비교해 전이 성능와 샘플 효율성 측면에서 어떻게 다른가?
• RQ4 새로운 로봇의 하드웨어 임베딩을 사용해 정책를 피니팅하는 것이 다시 시작부터 훈련하는 것보다 샘플 복잡성을 크게 줄일 수 있는가?
• RQ5 학습된 하드웨어 임베딩 공간은 매끄럽고 의미 있는가? 예를 들어 유사한 로봇들이 함께 군집하는가?

주요 결과

• 암묵적 하드웨어 임베딩을 학습하는 HCP-I는 진정한 운동학 및 역학 정보를 사용하는 HCP-E+Dyn과 유사한 성능를 달성함으로써, 모델이 핵심 하드웨어 성질을 암묵적으로 포착할 수 있음을 보여준다.
• HCP-I는 순수한 PPO보다 큰 폭으로 성능을 뛰어넘으며, 하드웨어 조건화가 학습 효율성과 샘플 복잡성에 크게 기여함을 시사한다.
• HCP-E를 사용한 제로샷 전이가 다양한 운동학적 구조를 가진 새로운 로봇에서 높은 성공률을 기록함으로써, 피니팅 없이도 강력한 일반화 성능를 입증한다.
• 사전 훈련된 가중치를 사용해 HCP-I 모델을 피니팅하면 다시 시작부터 훈련하는 것보다 새로운 로봇에서 훨씬 빠른 학습이 가능함을 확인함으로써 샘플 효율성 향상을 확인한다.
• 학습된 하드웨어 임베딩은 매끄럽고 연속적인 공간을 형성한다. 시각화 결과 유사한 토르소 질량을 가진 로봇들이 함께 군집함을 확인할 수 있어 의미 있고 구조화된 표현임을 나타낸다.