[논문 리뷰] Deep Transfer Learning of Pick Points on Fabric for Robot Bed-Making

Daniel Seita, Nawid Jamali외 7명|arXiv (Cornell University)|2018. 09. 26.

Robot Manipulation and Learning인용 수 25

한 줄 요약

이 논문은 깊이 영상(depth images)를 사용하여 로봇 침대 정리 작업에서 천의 최적의 취득 포인트를 식별하기 위한 딥 트랜스퍼 러닝 접근법을 제안한다. 이는 다양한 침대와 로봇에서 강력한 커버리지 성능을 보장한다. 두 대의 이동형 매니퓰레이터(HSR 및 Fetch)에서 수집한 데이터로 훈련된 모델은 평균 92%의 침대 커버리지 성과를 달성하였으며, 인간 성능(95%)과 유사하고 기준선 성능(83%)을 크게 뛰어넘었다. 색상과 질감의 변동에도 불구하고 예상치 못한 천들에 대해서도 효과적으로 일반화된다.

ABSTRACT

A fundamental challenge in manipulating fabric for clothes folding and textiles manufacturing is computing "pick points" to effectively modify the state of an uncertain manifold. We present a supervised deep transfer learning approach to locate pick points using depth images for invariance to color and texture. We consider the task of bed-making, where a robot sequentially grasps and pulls at pick points to increase blanket coverage. We perform physical experiments with two mobile manipulator robots, the Toyota HSR and the Fetch, and three blankets of different colors and textures. We compare coverage results from (1) human supervision, (2) a baseline of picking at the uppermost blanket point, and (3) learned pick points. On a quarter-scale twin bed, a model trained with combined data from the two robots achieves 92% blanket coverage compared with 83% for the baseline and 95% for human supervisors. The model transfers to two novel blankets and achieves 93% coverage. Average coverage results of 92% for 193 beds suggest that transfer-invariant robot pick points on fabric can be effectively learned.

연구 동기 및 목표

• 로봇에서 유연한 천을 다루는 데 도전하는 문제를 해결하기 위해, 특히 천의 상태가 매우 불확실하고 복잡한 침대 정리 작업과 같은 과제에서의 도전에 초점한다.
• 다양한 천과 로봇 플랫폼 간에 일반화되는 효과적인 취득 포인트를 식별하는 방법을 개발한다.
• 색상과 질감에 관계없이 불변성을 확보하기 위해 RGB 기반 특징에 의존하지 않고 깊이 영상을 사용함으로써 인간의 감독이나 과제별 센서에 대한 의존도를 줄인다.
• 한 개의 학습된 모델이 다양한 로봇과 천 유형에서 높은 침대 커버리지 성과를 달성할 수 있음을 입증한다.
• 딥 러닝을 활용하여 침대 정리 과제를 취득 포인트 기반의 커버리지 최적화 문제로 체계화한다.

제안 방법

• 심층 신경망(CNN)이 깊이 영상 입력을 기반으로 침대 위 최적의 취득 포인트(x,y) 좌표를 예측하도록 훈련된다.
• 모델은 인간의 시연와 로봇의 롤아웃 데이터를 활용한 레이블이 부여된 취득 포인트를 기반으로 지도 학습 방식으로 훈련된다. 이 데이터는 1/4 스케일 침대에서 수집되었다.
• 다른 두 로봇(Toyota HSR 및 Fetch)의 데이터를 통합하여 일반화 능력과 안정성을 향상시키기 위해 트랜스퍼 러닝 기법을 적용한다.
• 색상, 질감, 무늬에 관계없이 불변성을 확보하기 위해 깊이 영상을 사용함으로써 RGB 기반 특징에 의존하지 않는다.
• 로봇은 예측된 취득 포인트에 따라 시퀀스적으로 그립 동작을 수행하며, 커버리지가 낮은 침대 모서리 쪽으로 천을 당겨 커버리지 확장을 유도한다.
• 기준선 방법은 천의 가장 높은 점을 선택하며, 인간의 감독 결과는 성능 기준으로 사용된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 깊이 영상에서 학습한 후, 다양한 로봇과 천 유형 간에 효과적인 취득 포인트를 식별하여 침대 커버리지에 성공적으로 일반화할 수 있는가?
• RQ2 실제 침대 정리 과제에서, 학습된 취득 포인트 정책의 성능은 단순한 분석 기반 기준선(예: 가장 높은 점을 선택하는 것)과 인간 감독 성능에 비해 어떻게 비교되는가?
• RQ3 RGB 기반 모델에 비해 깊이 영상 사용이 색상, 질감, 재질 특성이 다른 천들 간의 일반화 능력을 얼마나 향상시키는가?
• RQ4 두 로봇의 데이터로 훈련된 단일 모델이 훈련 중에 볼 수 없었던 새로운 천들에 대해 성공적으로 전이 가능한가?
• RQ5 딥 러닝 추론 파이프라인의 시간 및 효율성은 실세계 배포에서 물리적 실행 및 운동 계획 수단에 비해 어떻게 비교되는가?

주요 결과

• 딥 트랜스퍼 러닝 모델은 193회의 침대 정리 롤아웃에서 평균 92%의 침대 커버리지 성과를 달성하였으며, 기준선 방법(83% 커버리지)보다 유의미하게 뛰어났다.
• 모델의 성능는 인간 감독자(95% 커버리지)와 유사하여 실세계 적용에서 뛰어난 효과를 입증하였다.
• 색상과 질감이 다른 두 가지 새로운 천(Y&B 및 티알)에 대해서도 예측된 바 없이 93%의 커버리지 성과를 달성하였으며, 이는 훈련 중에 미세조정 없이도 효과적인 일반화를 보여주었다.
• 색상과 무늬에 관계없이 불변성을 확보한 깊이 기반 그립 네트워크는 RGB 기반 네트워크보다 성능이 뛰어나 평균 86%의 커버리지 성과를 기록하였다.
• 신경망 추론 시간은 평균 0.1초로 매우 짧아 실시간 배포에 적합하였지만, 물리적 그립 실행과 로봇 운동 계획 단계가 주요 성능 저하 요인으로 나타났다.
• 통계적 검정 결과, 다양한 천 유형에서의 커버리지 분포 간 유의미한 차이가 없었으며, 천의 다양성에 대한 강력한 일반화 능력을 입증하였다.