[논문 리뷰] Robot Vision Architecture for Autonomous Clothes Manipulation

Li Sun, Gerardo Aragón-Camarasa외 2명|arXiv (Cornell University)|2016. 10. 18.

Robot Manipulation and Learning참고 문헌 19인용 수 3

한 줄 요약

이 논문은 의류 구성의 자율 3차원 인식을 위한 새로운 계층적 로봇 시각 아키텍처를 제안하며, 고유의 스테레오 시각 시스템과 이중팔 로봇을 통해 민감한 조작을 가능하게 한다. 이는 자율적 그립 태스크에서 뛰어난 성능을 발휘하며, 단일팔 또는 Kinect 기반 방법과 비교해 조작 반복 횟수를 50% 이상 감소시키는, 처음으로 완전 자율적인 이중팔 평탄화 시스템을 구현한다.

ABSTRACT

This paper presents a novel robot vision architecture for perceiving generic 3D clothes configurations. Our architecture is hierarchically structured, starting from low-level curvatures, across mid-level geometric shapes \& topology descriptions; and finally approaching high-level semantic surface structure descriptions. We demonstrate our robot vision architecture in a customised dual-arm industrial robot with our self-designed, off-the-self stereo vision system, carrying out autonomous grasping and dual-arm flattening. It is worth noting that the proposed dual-arm flattening approach is unique among the state-of-the-art robot autonomous system, which is the major contribution of this paper. The experimental results show that the proposed dual-arm flattening using stereo vision system remarkably outperforms the single-arm flattening and widely-cited Kinect-based sensing system for dexterous manipulation tasks. In addition, the proposed grasping approach achieves satisfactory performance on grasping various kind of garments, verifying the capability of proposed visual perception architecture to be adapted to more than one clothing manipulation tasks.

연구 동기 및 목표

• 로봇 분야에서 유연 물체 조작을 위한 일반적이고 재사용 가능한 시각 아키텍처의 부족을 해결한다.
• 의류 인식 및 조작을 위한 일시적인, 센서에 종속된 솔루션의 한계를 극복한다.
• 다양한 조작 작업을 위한 복잡한 3차원 의류 구성 구문 분석이 가능한 인식 시스템을 개발한다.
• 고품질의 깊이 감지 기술을 활용해 주름진 의류를 효율적이고 자율적으로 이중팔로 평탄화할 수 있도록 한다.
• 민감한 조작 작업에서 커머셜 RGB-D 센서(예: Kinect)와 비교해 고유의 스테레오 시각 시스템의 우수성을 입증한다.

제안 방법

• 저수준 곡률에서 고수준 의미적 표면 구조에 이르기까지 3차원 시각 특징을 처리하는 계층적 시각 인식 아키텍처를 설계한다.
• 의류 텍스처와 깊이 정확도에 최적화된 GPU 가속 스테레오 매칭기와 함께 고해상도 오프더쉐ลม(Off-the-Shelf) 활성 스테레오 이중눈 시스템을 통합한다.
• 스테레오 시각 시스템과 이중팔 로봇 간의 손-eye 캘리브레이션을 수행하여 조작을 위한 정밀한 공간 정렬을 가능하게 한다.
• 3차원 표면 형상 및 위상 분석을 통해 주름과 그립 트리플렛과 같은 핵심 의류 특징을 탐지한다.
• 시각 피드백이 이중팔 조율을 통해 반복적인 평탄화 동작을 이끄는 인식-조작 사이클을 구현한다.
• 대칭적이고 조율된 힘을 적용하는 이중팔 전략을 적용하여 단일팔 접근 방식보다 긴 주름을 더 효율적으로 평탄화한다.

실험 결과

연구 질문

• RQ1 다양한 조작 작업을 위한 3차원 의류 구성 해석이 가능한 일반적이고 계층적인 시각 아키텍처를 설계할 수 있는가?
• RQ2 민감한 의류 조작 작업에서 고유의 고해상도 스테레오 시각 시스템의 성능은 Kinect과 같은 상용 RGB-D 센서와 비교해 어떻게 되는가?
• RQ3 단일팔 또는 테이블 기반 방법과 비교해 이중팔 평탄화 전략은 조작 반복 횟수를 얼마나 줄일 수 있는가?
• RQ4 제안된 시각 아키텍처는 다양한 의류 유형에서 그립 포인트와 구조적 특징(예: 주름)을 견고하게 탐지할 수 있는가?
• RQ5 고품질 깊이 감지 기술과 의미적 3차원 해석의 통합이 자율적 의류 조작의 성공률과 효율성에 크게 기여하는가?

주요 결과

• 제안된 이중팔 평탄화 시스템은 Towels에 대해 평균 4.7회, 반바지에 대해 6.3회, 티셔츠에 대해 8.9회로 반복 횟수를 줄여 다양한 의류 유형에 대한 적응성을 입증했다.
• 이중팔 평탄화는 평균 4.7회의 반복으로 완료되었으며, 단일팔 평탄화의 9.5회와 비교해 효율성이 50% 향상됨을 보였다.
• 고유의 스테레오 시각 시스템은 깊이 해상도가 높고 노이즈가 적어(0.5cm 이하의 고주파 노이즈) Xtion과 유사한 Kinect 센서보다 RNI를 절반 이하로 줄였다.
• 스테레오 헤드는 긴 주름을 정확하게 탐지하고 정밀한 이동량 추정을 가능하게 하여 저품질 깊이 센서에서 흔히 발생하는 긴 주름의 분할 문제를 방지했다.
• 그립 전략은 다양한 의류 유형에서 견고한 성능을 발휘하여, 인식 아키텍처가 다양한 작업에 적응 가능함을 확인했다.
• 계층적 시각 아키텍처는 주름과 그립 트리플렛과 같은 지표를 탐지하고 정량화하여, 복잡한 3차원 구성 해석을 성공적으로 수행함으로써 신뢰할 수 있는 조작 계획 수립을 가능하게 했다.