[논문 리뷰] Learning Latent Graph Dynamics for Deformable Object Manipulation.

Xiao Ma, David Hsu외 1명|arXiv (Cornell University)|2021. 04. 25.

Reinforcement Learning in Robotics참고 문헌 45인용 수 16

한 줄 요약

이 논문은 변형 가능한 물체 조작을 모델링하기 위해 관점점 동역학을 캡처하는 그래프 신경망과 자기 음영을 처리하기 위한 순환 네트워크를 사용하는 학습 기반 방법인 G-DOOM을 제안한다. 시뮬레이션에서 대비 학습을 통해 훈련된 G-DOOM은 천과绳의 조작에 대해 효과적인 모델 예측 제어를 가능하게 하며, 실세계 로봇 시스템으로의 강력한 제로샷 전이를 달성한다.

ABSTRACT

Manipulating deformable objects, such as cloth and ropes, is a long-standing challenge in robotics: their large number of degrees of freedom (DoFs) and complex non-linear dynamics make motion planning extremely difficult. This work aims to learn latent Graph dynamics for DefOrmable Object Manipulation (G-DOOM). To tackle the challenge of many DoFs and complex dynamics, G-DOOM approximates a deformable object as a sparse set of interacting keypoints and learns a graph neural network that captures abstractly the geometry and interaction dynamics of the keypoints. Further, to tackle the perceptual challenge, specifically, object self-occlusion, G-DOOM adds a recurrent neural network to track the keypoints over time and condition their interactions on the history. We then train the resulting recurrent graph dynamics model through contrastive learning in a high-fidelity simulator. For manipulation planning, G-DOOM explicitly reasons about the learned dynamics model through model-predictive control applied at each of the keypoints. We evaluate G-DOOM on a set of challenging cloth and rope manipulation tasks and show that G-DOOM outperforms a state-of-the-art method. Further, although trained entirely on simulation data, G-DOOM transfers directly to a real robot for both cloth and rope manipulation in our experiments.

연구 동기 및 목표

• 변형 가능한 물체 조작에서 고차원적이고 비선형적인 동역학의 과제를 해결하기 위해.
• 시각 관측에서 관점점 추적 시 발생하는 물체의 자기 음영과 같은 인지적 과제를 극복하기 위해.
• 기하학적 구조를 기반으로 한 신경망 아키텍처를 사용하여 일반화 가능한, 동역학을 고려한 변형 가능한 물체의 표현을 학습하기 위해.
• 학습된 동역학 모델에 기반한 모델 예측 제어를 통해 효과적인 운동 계획을 가능하게 하기 위해.
• 도메인 랜덤라이제이션 또는 피팅 조정 없이 시뮬레이션에서부터 실세계 로봇 조작으로의 제로샷 전이를 달성하기 위해.

제안 방법

• 자유도를 줄이기 위해 상호작용하는 관점점의 희소 집합으로 변형 가능한 물체를 표현한다.
• 잠재 공간에서 관점점 간의 기하학적 및 동역학적 상호작용을 모델링하기 위해 그래프 신경망을 사용한다.
• 시간적 일관성을 유지하고 이전 상태에 따라 관점점 상호작용을 조정하기 위해 순환 신경망을 통합하여 음영에 대한 강건성을 향상시킨다.
• 고정밀 물리 시뮬레이터에서 대비 학습을 사용하여 별개의 예측 동역학 표현을 학습하기 위해 그래프-순환 모델을 함께 훈련시킨다.
• 학습된 동역학 모델을 기반으로 각 관점점에서 모델 예측 제어를 적용하여 제어 정책을 생성한다.
• 다양한 조작 동작 하에서 미래 상태를 정확히 예측하도록 유도하기 위해 대비 목표를 사용한 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 학습된 그래프 기반 동역학 모델이 천과 绳과 같은 복잡하고 비선형적인 행동을 효과적으로 표현할 수 있는가?
• RQ2 순환 구성 요소가 자기 음영 상황에서 관점점 추적과 상호작용 모델링에 얼마나 기여하는가?
• RQ3 도메인 랜덤라이제이션 또는 피팅 조정 없이, 시뮬레이션에서 훈련된 동역학 모델이 실세계 로봇 조작으로 얼마나 잘 일반화되는가?
• RQ4 학습된 동역학 모델에 기반한 모델 예측 제어가 도전적인 조작 과제에서 높은 성능을 달성할 수 있는가?
• RQ5 대비 사전 훈련이 동역학 모델의 일반화 및 강건성에 어떤 영향을 미치는가?

주요 결과

• G-DOOM은 시뮬레이션에서의 도전적인 천과 绳 조작 과제 세트에서 최첨단 기법보다 뛰어난 성능을 보였다.
• 모델은 실세계 로봇 플랫폼으로의 직접적인 제로샷 전이를 천과 绳 조작 모두에서 달성했으며, 실세계 피팅 조정 없이도 성공했다.
• 순환 추적 통합으로 인해 자기 음영 상황에서 관점점의 안정성과 상호작용 모델링이 크게 향상되었다.
• 대비 사전 훈련은 감독 학습 대비 더 강건하고 일반화 가능한 동역학 표현을 이끌어냈다.
• 학습된 그래프 동역학에 기반한 모델 예측 제어는 정밀하고 장기적인 조작 정책을 가능하게 했다.
• 다양한 물체 형태와 조작 전략에 걸쳐 높은 성능를 유지하여 강력한 일반화 능력을 입증했다.