[논문 리뷰] Learning Predictive Representations for Deformable Objects Using Contrastive Estimation

Wilson Yan, Ashwin Vangipuram외 2명|arXiv (Cornell University)|2020. 03. 11.

Robot Manipulation and Learning참고 문헌 53인용 수 75

한 줄 요약

이 논문은 변형 가능 물체에 대해 잠재 표현과 순방향 역학을 공동으로 학습하는 대조적 예측 모델링 프레임워크(CFM)를 제안하여, 효율적인 MPC 계획 및 도메인 난수화를 통한 시뮬레이션-현실 전이 가능하게 한다.

ABSTRACT

Using visual model-based learning for deformable object manipulation is challenging due to difficulties in learning plannable visual representations along with complex dynamic models. In this work, we propose a new learning framework that jointly optimizes both the visual representation model and the dynamics model using contrastive estimation. Using simulation data collected by randomly perturbing deformable objects on a table, we learn latent dynamics models for these objects in an offline fashion. Then, using the learned models, we use simple model-based planning to solve challenging deformable object manipulation tasks such as spreading ropes and cloths. Experimentally, we show substantial improvements in performance over standard model-based learning techniques across our rope and cloth manipulation suite. Finally, we transfer our visual manipulation policies trained on data purely collected in simulation to a real PR2 robot through domain randomization.

연구 동기 및 목표

• 변형 가능 물체에 대해 계획 가능한 시각 표현과 복잡한 동역학을 학습하는 도전을 해결한다.
• 대조적 목적함수를 사용하여 시각 인코더와 잠재 순방 모델을 공동으로 최적화한다.
• 대조 학습이 잠재 공간의 구조와 기본-baseline 대비 계획 품질을 향상시킨다는 것을 보인다.
• 실제 훈련 데이터 없이 PR2 로봇에 정책의 시뮬레이트-현실 전이를 시연한다.

제안 방법

• 관찰을 인코더 g_theta로 잠재 공간에 인코딩하고, z_t와 a_t로부터 z_{t+1}를 예측하는 잠재 순방 모델 f_phi를 학습한다.
• 예측된 잠재 상태와 실제 잠재 상태 간의 상호 정보를 최대화하기 위해 InfoNCE 대조 손실을 사용하여 인코더와 순방 모델을 함께 학습한다.
• 목표 잠재 상태까지의 거리를 최소화하는 액션을 선택하고, 액션을 샘플링하여 다음 잠재 상태를 예측하는 간단한 MPC 체계를 사용한다.
• 건강성/계획 효율성을 높이기 위해 픽셀 공간이 아닌 잠재 공간에서 계획한다.
• 시뮬레이션에서 로프와 천 신기 작업을 평가하고 도메인 난수화를 통해 실제 로봇으로 전이한다.
• 설계 선택의 타당성을 보여주기 위해 대조 손실 변형과 순방 모델 아키텍처를 비교한 제거 실험(ablation)을 제공한다.

실험 결과

연구 질문

• RQ1 대조 학습이 변형 가능한 물체 조작의 계획을 위한 잠재 표현과 순방 모델의 성능을 기본 방법들에 비해 향상시키는가?
• RQ2 대조 프레임워크의 어느 구성 요소가 성능에 가장 크게 기여하는가(손실 형태, 순방 모델 용량, 아키텍처)?

주요 결과

• CFM은 시뮬레이션에서 로프 및 천 작업에 대해 무작위 정책, 시각적 순방 모델, 자동인코더, PlaNet, 및 조합 동역학 대비 현저하게 우수하다.
• 제안된 대조적 유사성 함수와 순방 모델을 갖춘 CFM은 여러 방향과 작업에 걸쳐 목표에 대한 최종 상태의 기하학적 거리를 기준선보다 더 작게 달성한다.
• 도메인 난수화는 추가 실제 데이터 없이 PR2 로봇으로의 시뮬레이션-현실 전이를 가능하게 하며 실제 로봇 테스트에서 기본 방법들보다 우수한 성능을 보인다.
• 제안된 대조적 유사성 함수와 비선형 순방 모델이 최고의 계획 성능을 보여주는 제거실험(ablation) 결과를 보인다.
• CFM은 다양한 목표 구성을 가진 다중 목표 변형 가능 물체 조작에서 강건성을 보여준다.