[논문 리뷰] Learning Dense Visual Correspondences in Simulation to Smooth and Fold Real Fabrics

Aditya Ganapathi, Priya Sundaresan외 11명|arXiv (Cornell University)|2020. 03. 28.

Robot Manipulation and Learning참고 문헌 46인용 수 16

한 줄 요약

이 논문은 RGB 데이터와 딥 러닝을 활용하여 실제 천 조작을 위한 밀도 높은 시각적 대응 관계를 학습하는 시뮬레이션 기반 프레임워크를 제안한다. 이러한 대응 관계를 활용하여, 두 가지 로봇 플랫폼에서 10종의 다양한 평탄화 및 접기 작업을 한 번의 시범만으로 성공적으로 모방할 수 있게 한다—실세계 미세조정이나 작업별 재학습 없이도 평균 80.3%의 성공률을 달성한다.

ABSTRACT

Robotic fabric manipulation is challenging due to the infinite dimensional configuration space, self-occlusion, and complex dynamics of fabrics. There has been significant prior work on learning policies for specific deformable manipulation tasks, but comparatively less focus on algorithms which can efficiently learn many different tasks. In this paper, we learn visual correspondences for deformable fabrics across different configurations in simulation and show that this representation can be used to design policies for a variety of tasks. Given a single demonstration of a new task from an initial fabric configuration, the learned correspondences can be used to compute geometrically equivalent actions in a new fabric configuration. This makes it possible to robustly imitate a broad set of multi-step fabric smoothing and folding tasks on multiple physical robotic systems. The resulting policies achieve 80.3% average task success rate across 10 fabric manipulation tasks on two different robotic systems, the da Vinci surgical robot and the ABB YuMi. Results also suggest robustness to fabrics of various colors, sizes, and shapes. See https://tinyurl.com/fabric-descriptors for supplementary material and videos.

연구 동기 및 목표

• 다양한 천의 색상, 크기, 초깃세팅 조건에 걸쳐 천 조작 정책의 일반화 문제를 해결한다.
• 시각적 대응 관계를 활용해 시뮬레이션에서 실세계 로봇으로 정책을 효율적으로 이식할 수 있도록 한다.
• 인식과 제어를 분리하여 재학습 없이도 다양한 로봇 시스템 간의 일반화를 지원한다.
• 시뮬레이션에서 다양한 천의 구성 조건을 생성하는 확장 가능한 파이프라인을 개발하여 기술자 일반화를 향상시킨다.
• 각 작업당 한 번의 시범만으로도 다단계 작업인 평탄화 및 접기에서 높은 성공률을 달성한다.

제안 방법

• Bl렌더에서 생성한 다양한 구성 조건의 천에 대한 합성 RGB 이미지를 사용해 밀도 높은 객체 기술자(Descriptor)를 학습한다.
• 시뮬레이션 데이터 수집 중 도메인 랜덤라이제이션을 활용하여 색상, 질감, 척도의 변동에 대한 강건성을 향상시킨다.
• 학습된 시각적 대응 관계를 활용해 서로 다른 천 구성 조건 간에 기하학적으로 동일한 동작을 계산한다.
• 대응 관계 필드를 사용해 소스 구성 조건에서의 인간 시범을 새로운 구성 조건으로 동일한 동작로 매핑한다.
• 인식(기술자 네트워크)과 제어(정책)를 분리하여 다양한 로봇 시스템 간에 재사용이 가능하도록 한다.
• 실제 구현 전에 조작 정책의 유효성을 검증하기 위해 시뮬레이션 내 테스트베드를 구현한다.

Figure 1 : We use learned visual correspondences across different fabric configurations to perform a variety of fabric manipulation tasks on the ABB YuMi (top) and the da Vinci Research Kit (bottom). Given a single demonstration of smoothing or folding, the robot uses the learned correspondences to

실험 결과

연구 질문

• RQ1 시뮬레이션에서 학습된 밀도 높은 시각적 대응 관계가 색상, 크기, 형태와 같은 다양한 천의 특성에 일반화되는가?
• RQ2 한 번의 시범만으로도 학습된 대응 관계를 활용해 다른 구성 조건에서 동일한 작업에 대해 효과적인 정책을 생성할 수 있는가?
• RQ3 한 번의 시뮬레이션에서 학습된 인식 모듈이 재학습 없이도 다양한 실세계 로봇 플랫폼으로 이식 가능한가?
• RQ4 실세계 설정에서 카메라 자세, 조명, 작업공간 기하학적 특성의 변동에 대해 학습된 대응 관계는 얼마나 강건한가?
• RQ5 이 방법은 작업별 미세조정 없이도 다양한 다단계 천 조작 작업 전반에서 높은 성공률을 달성할 수 있는가?

주요 결과

• 이 방법은 ABB YuMi와 da Vinci Research Kit 양 플랫폼에서 10종의 다른 천 조작 작업 전반에 걸쳐 평균 80.3%의 작업 성공률를 달성한다.
• 평탄화 정책은 dVRK에서 천 커버리지 평균을 68.4%에서 86.4%로, YuMi에서는 71.4%에서 83.2%로 향상시킨다.
• dVRK는 단일 동작 접기 작업(SF, TSTSF)에서 100% 성공률를 기록했고, YuMi는 대부분의 단일 및 이중 동작 작업에서 90% 이상의 성공률를 달성했다.
• 가장 흔한 실패 원인은 다중 동작 작업에서의 캐치 불안정성으로, 이는 보다 향상된 캐치 전략이 필요함을 시사한다.
• 카메라 자세, 조명, 작업공간 치수의 차이에도 불구하고, 학습된 기술자가 다양한 로봇 플랫폼 간에 강건하게 일반화됨을 확인했다.
• 이 프레임워크는 단일 시범만으로도 이중 삼각 접기 및 평탄화 후 접기와 같은 복잡한 작업을 일관된 성능으로 성공적으로 모방할 수 있게 한다.

Figure 2 : Fabric Meshes: Examples of the meshes generated in Blender for both square cloth (left) and t-shirts (right). The ground-truth vertices are highlighted in the second and fourth columns.