[논문 리뷰] Learning Keypoints from Synthetic Data for Robotic Cloth Folding

Thomas Lips, Victor-Louis De Gusseme외 1명|arXiv (Cornell University)|2022. 05. 13.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

이 논문은 블렌더를 이용한 절차적 3D 시나리오 합성으로 생성된 순수 합성 데이터를 사용하여 로봇 옷 접기 작업에서 관절점 검출을 위한 합성곱 신경망(CNN)을 훈련시킨다. 이 시스템은 단일 손으로 작동하는 로봇에서 시뮬레이션에서 실제 세계로의 전이 없이도 77%의 抓지 성공률과 53%의 접기 성공률을 기록하며, 최소한의 실제 데이터 주석 처리로도 실제 세계의 옷 다루기 작업을 위한 관절점 검출기 학습에 합성 데이터가 효과적으로 활용될 수 있음을 보여준다.

ABSTRACT

Robotic cloth manipulation is challenging due to its deformability, which makes determining its full state infeasible. However, for cloth folding, it suffices to know the position of a few semantic keypoints. Convolutional neural networks (CNN) can be used to detect these keypoints, but require large amounts of annotated data, which is expensive to collect. To overcome this, we propose to learn these keypoint detectors purely from synthetic data, enabling low-cost data collection. In this paper, we procedurally generate images of towels and use them to train a CNN. We evaluate the performance of this detector for folding towels on a unimanual robot setup and find that the grasp and fold success rates are 77% and 53%, respectively. We conclude that learning keypoint detectors from synthetic data for cloth folding and related tasks is a promising research direction, discuss some failures and relate them to future work. A video of the system, as well as the codebase, more details on the CNN architecture and the training setup can be found at https://github.com/tlpss/workshop-icra-2022-cloth-keypoints.git.

연구 동기 및 목표

• 로봇 옷 다루기 작업을 위한 실제 데이터 주석 처리의 높은 비용과 부족함을 해결하기 위해 합성 데이터를 활용한다.
• 절차적 데이터 생성을 통한 관절점 검출에 대해 시뮬레이션에서 실제 세계로의 전이 없이도 가능한지 평가한다.
• 합성 이미지로만 훈련된 CNN 기반의 관절점 검출기의 성능과 실패 원인을 실제 세계의 로봇 접기 작업에서 분석한다.
• 일반화에 영향을 주는 도메인 이격 요인들—예: 조명, 방해 요소, 재질 특성—을 특정하고 향후 합성 데이터 설계에 안내한다.

제안 방법

• 블렌더와 BlenderProc를 사용하여 절차적으로 합성 RGB 이미지를 생성하며, 이는 랜덤화된 수건 기하학적 형태, 재질(HSV 색상 + 페르린 노이즈), 조명, 카메라 자세, 방해 요소 물체를 포함한다.
• 단일 RGB 이미지에서 의미적 관절점(수건 모서리)의 2차원 히트맵을 예측하기 위해 CNN을 훈련시키며, 지도 주석은 합성 시나리오 기하학적 구조에서 유도된다.
• 훈련된 관절점 검출기를 실제 세계의 단일 손 로봇 시스템에 전이 없이 배치하며, Robotiq 2F-85 그립퍼와 ZED2i 스테레오 카메라를 사용한다.
• 검출된 관절점을 기반으로 스크립트화된 오픈 루프의 抓지 및 준정적 접기 경로를 실행하며, 실시간 추론과 이미지 전처리(자르기 및 256×256로 크기 조정)를 수행한다.
• 실제 세계와의 격차를 줄이기 위해 랜덤 배경 텍스처와 다양한 조명 조건을 포함한 도메인 랜덤라이제이션 기법을 사용한다.
• 다양한 실제 세계 조건에서 평가를 수행: 자연광, LED 조명, 방해 요소 존재 여부, 비정상적인 무늬를 가진 비분포 수건

실험 결과

연구 질문

• RQ1 합성 데이터로만 훈련된 관절점 검출기가 실제 세계의 로봇 옷 접기 작업에 충분한 정확도를 달성할 수 있는가?
• RQ2 조명 변화 및 방해 요소와 같은 실제 세계의 도메인 이격 상황에서 전이 없이도 성능이 얼마나 견고한가?
• RQ3 합성 데이터로 훈련된 검출기를 사용할 때 抓지 및 접기 실행에 실패하는 주요 원인은 무엇인가?
• RQ4 재질 특성과 수건 기하학적 형태(예: 부분 접힘, 비균일 무늬)는 검출 및 다루기 성능에 어떤 영향을 미치는가?

주요 결과

• 합성 데이터에서 훈련된 관절점 검출기는 다양한 조명 조건과 방해 요소 조건 하에서 분포 내 수건에 대해 77%의 抓지 성공률를 기록하며, 합성 데이터로부터의 강력한 일반화 능력을 보여준다.
• 접기 성공률는 53%였으며, 80%의 접기 실패는 실행 중 수건이 굽히면서 발생한 모서리 정렬 오류 때문이었으며, 이는 오픈 루프 제어의 한계를 드러낸다.
• 비균일 무늬를 가진 분포 외 수건은 抓지 성공률를 48%로 낮추었으며, 모델링되지 않은 시각적 변형에 민감함을 보여준다.
• 抓지 실패의 주요 원인은 정확하거나 완전하지 못한 관절점 검출이었으며, 합성 데이터 분포에 잔류하는 현실성 격차를 시사한다.
• 가벼운 수건은 마찰력이 부족하여 실패를 유발하였으며, 이는 수건이 밀리기만 하고 들어 올리지 못함을 의미한다.
• 추론 시간은 무시할 만큼 짧았으며(<1초), 전체 抓지 및 접기 실행 시간은 약 20초였으며, 이는 인식 단계가 성능의 한계 요소가 아니라는 것을 나타낸다.