[논문 리뷰] Deep Imitation Learning for Bimanual Robotic Manipulation

Fan Xie, Alexander Chowdhury외 4명|arXiv (Cornell University)|2020. 10. 11.

Robot Manipulation and Learning참고 문헌 39인용 수 14

한 줄 요약

이 논문은 이중 손으로 작업하는 로봇의 복잡한 작업을 재사용 가능한 운동 프리미티브로 분해하고, 로봇-로봇 및 로봇-물체 간 상호작용을 모델링하기 위해 순환 그래프 신경망을 사용하는 계층적 딥 유사 학습(HDR-IL) 프레임워크를 제안한다. 고수준 계획자와 저수준 역학 모델을 조합함으로써 HDR-IL은 도전적인 피그인홀 작업에서 29%의 성공률을 달성하였으며, 이는 GRU-GRU 기준선의 1%에 비해 유의미하게 높은 성능이다. 이는 연속된 상태-행동 공간에서의 관계 및 계층적 모델링을 통해 일반화 능력이 향상되었음을 보여준다.

ABSTRACT

We present a deep imitation learning framework for robotic bimanual manipulation in a continuous state-action space. A core challenge is to generalize the manipulation skills to objects in different locations. We hypothesize that modeling the relational information in the environment can significantly improve generalization. To achieve this, we propose to (i) decompose the multi-modal dynamics into elemental movement primitives, (ii) parameterize each primitive using a recurrent graph neural network to capture interactions, and (iii) integrate a high-level planner that composes primitives sequentially and a low-level controller to combine primitive dynamics and inverse kinematics control. Our model is a deep, hierarchical, modular architecture. Compared to baselines, our model generalizes better and achieves higher success rates on several simulated bimanual robotic manipulation tasks. We open source the code for simulation, data, and models at: https://github.com/Rose-STL-Lab/HDR-IL.

연구 동기 및 목표

• 다양한 물체 및 로봇의 초기 설정 조건에서 이중 손 조작 기술의 일반화 문제를 해결하기 위해.
• 고차원 연속 상태-행동 공간에서 복잡한 다중 물체 상호작용 작업의 정책 일반화를 향상시키기 위해.
• 정적 또는 사전 정의된 프리미티브에 의존하는 대신, 로봇과 물체 간의 관계적 역학을 명시적으로 모델링하기 위해.
• 고수준 계획과 저수준 역학 제어를 분리하는 계층적이고 모듈러한 딥 유사 학습 프레임워크를 개발하기 위해.

제안 방법

• 프레임워크는 전문가의 시연를 시간적으로 연장된 운동 프리미티브로 분해하여 작업 구성 요소의 모듈러한 학습을 가능하게 한다.
• 고수준 계획자는 환경의 관계적 특징을 기반으로 프리미티브의 순서를 예측하기 위해 순환 그래프 신경망(GNN)을 사용한다.
• 저수준 프리미티브 역학 모델은 로봇 팔과 물체 간의 상호작용을 캡처하는 GNN으로 매개변수화되어 각 프리미티브에 대한 상태 궤적을 예측한다.
• 장기적인 시퀀스에서 학습 안정성과 기울기 흐름 향상을 위해 GNN에 잔차 연결을 통합한다.
• 프리미티브 역학 예측과 역학적 역학 제어를 조합하여 로봇 실행을 위한 유효한 관절 궤적을 생성한다.
• 모든 아키텍처는 시뮬레이션에서의 전문가 시범을 기반으로 한 유사 학습을 통해 종단 간(end-to-end)으로 훈련된다.

실험 결과

연구 질문

• RQ1 관계 모델링을 통한 계층적 유사 학습 프레임워크가 이중 손 로봇 조작 작업의 일반화에 기여하는가?
• RQ2 그래프 신경망을 통해 물체 간 상호작용 및 로봇-환경 상호작용을 모델링할 경우 정책 성능과 내성에 어떤 영향을 미치는가?
• RQ3 고수준 계획과 저수준 역학 제어를 분리함으로써 복잡한 조작 작업에서 샘플 효율성과 작업 성공률이 얼마나 향상되는가?
• RQ4 잔차 연결과 순환 GNN이 장기적인 수평, 다단계 조작 행동 학습에 기여하는 방식은 무엇인가?

주요 결과

• HDR-IL은 피그인홀 작업에서 29%의 성공률을 기록하였으며, 이는 GRU-GRU 기준선의 1% 대비 28%포인트 높은 성능이다.
• ResInt 모델은 15%의 성공률을 기록하여 잔차 연결이 표준 RNN보다 성능 향상을 이룬다는 것을 입증했지만, 여전히 HDR-IL에 뒤지지 않는다.
• 피그인홀 작업의 2단계에서 HDR-IL은 ResInt 및 GRU-GRU보다 더 정확한 x축 좌표 예측을 보였으며, 이는 일반화 능력이 뛰어나다는 것을 시사한다.
• 기준선 대비 더 낮은 평균 유클리드 거리 오차(0.90 ± 1.01)와 각도 거리 오차(0.013 ± 0.010)를 기록하여 궤적 정확도가 뛰어나다는 것을 보여준다.
• x축 방향으로의 일반화가 더 어려웠는데, 이는 시범 데이터에서 더 높은 분산이 있었기 때문이다. 그러나 HDR-IL은 대안 대비 더 뛰어난 성능을 유지했다.
• 복잡하고 장기적인 수평의 이중 손 조작 작업에서 프레임워크는 향상된 내성과 정확도를 보였으며, 계층적 및 관계 기반 모델링의 효과성을 검증하였다.