[논문 리뷰] Multi-Sensor Surface Analysis for Robotic Ironing

Yinxiao Li, Xiuhan Hu외 4명|arXiv (Cornell University)|2016. 02. 16.

Robotics and Sensor-Based Localization참고 문헌 20인용 수 4

한 줄 요약

이 논문은 로봇 다림질을 위한 확률적 다중 센서 프레임워크를 제안한다. 이 프레임워크는 깊이 기반 곡률 스캔과 조명 기반 비연속성 스캔을 융합하여 변형 가능한 천 표면의 영구 주름을 탐지하고 분류한다. 제어된 조명 조건 하에서 Kinect 기반 3D 스캔과 RGB 영상 분석을 결합함으로써 고곡률 주름을 식별하고 최적의 다림질 경로를 생성하며, 이는 Baxter 로봇이 35초 이내에 반복적인 다림질을 통해 주름을 효과적으로 제거할 수 있도록 한다.

ABSTRACT

Robotic manipulation of deformable objects remains a challenging task. One such task is to iron a piece of cloth autonomously. Given a roughly flattened cloth, the goal is to have an ironing plan that can iteratively apply a regular iron to remove all the major wrinkles by a robot. We present a novel solution to analyze the cloth surface by fusing two surface scan techniques: a curvature scan and a discontinuity scan. The curvature scan can estimate the height deviation of the cloth surface, while the discontinuity scan can effectively detect sharp surface features, such as wrinkles. We use this information to detect the regions that need to be pulled and extended before ironing, and the other regions where we want to detect wrinkles and apply ironing to remove the wrinkles. We demonstrate that our hybrid scan technique is able to capture and classify wrinkles over the surface robustly. Given detected wrinkles, we enable a robot to iron them using shape features. Experimental results show that using our wrinkle analysis algorithm, our robot is able to iron the cloth surface and effectively remove the wrinkles.

연구 동기 및 목표

• 가정용 로봇 기술의 핵심 장애 요소인 변형 가능한 천에 대한 자율적 로봇 다림질 문제를 해결하기 위해.
• 부드럽고 개발 가능한 변형과는 다름없이 영구 주름을 표면 분석을 통해 탐지하고 분류하기 위해.
• 최소한의 이동과 최적의 정렬을 통해 탐지된 주름에 기반해 로봇이 다림질 동작을 계획하고 실행할 수 있도록 하기 위해.
• 깊이 및 조명 데이터를 포함한 다중 센서 데이터를 확률적 프레임워크에 통합하여 신뢰성 높은 주름 탐지 가능하게 하기 위해.
• 탐지에서 실행까지의 완전한 다림질 파이프라인을 Baxter 로봇에서 구현하여 이전 연구에 비해 의류 조작 능력을 향상시키기 위해.

제안 방법

• Kinect 깊이 센서가 표면의 높이 변화(부풀어오름)를 탐지하기 위해 곡률 스캔을 수행하며, 헤시안 행렬 계산과 부피 추정을 통해 심각한 변형을 식별한다.
• 두 개의 조명 소스를 사용하여 조명을 제어함으로써 주름 부근의 표면 기울기 변화를 강조하여 비연속성을 부각시킨다.
• 수동으로 레이블링된 비연속성 영역을 기반으로 지지 벡터 기반 분류기(SVM)를 학습시켜 날카로운 표면 특징(예: 영구 주름)을 탐지한다.
• 곡률과 비연속성 결과를 융합하는 확률적 다중 센서 융합 모델을 통해 변형을 분류하고 순위를 매겨 제거 가능한 부풀어오름과 다림질이 가능한 주름을 구분한다.
• 탐지된 주름은 선분으로 표현되며, 로봇 이동과 정렬 오버헤드를 최소화하기 위해 최적화된 다림질 경로로 정렬된다.
• Baxter 로봇은 위치 제어 방식을 사용하여 각 탐지된 주름에 다림질 도구를 정렬하고 경로 계획에 기반한 반복적인 다림질을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 변형 가능한 천 표면에 대한 영구 주름의 견고한 탐지 방법을 통해 로봇 다림질을 가능하게 할 수 있는가?
• RQ2 정확한 캘리브레이션을 요구하지 않으면서도 부드러운 높이 부풀어오름과 날카로운 비연속성(주름)을 정확히 구분할 수 있는 다중 센서 융합 전략은 무엇인가?
• RQ3 탐지된 주름는 어떻게 표현하고 정렬하여 로봇의 이동을 최소화하고 다림질 효율을 향상시킬 수 있는가?
• RQ4 위치 제어 방식을 사용하는 로봇이 표면 분석과 경로 계획 외에 추가 정보 없이 주름을 얼마나 효과적으로 제거할 수 있는가?
• RQ5 깊이 기반 스캔과 조명 기반 감지를 융합한 하이브리드 스캔 방식이 단일 센서 방법보다 미세하고 고곡률 주름 탐지에 더 우수한 성능을 보일 수 있는가?

주요 결과

• 하이브리드 곡률 및 비연속성 스캔 방법은 표준 Kinect 센서의 저해상도 깊이 데이터에서도 영구 주름을 높은 신뢰도로 탐지하는 데 성공했다.
• 깊이 기반 부풀어오름 탐지와 조명 기반 비연속성 스캔의 융합을 통해 주름의 정확한 분류가 가능해져 매끄러운 변형에 의한 오진 탐지 수를 줄였다.
• 확률적 다중 센서 융합 모델의 사용으로 탐지 신뢰성이 향상되어 제거 가능한 부풀어오름과 다림질이 가능한 주름을 효과적으로 구분할 수 있었다.
• 최적화된 다림질 경로로 인해 다수의 주름이 있는 의류의 경우 총 다림질 시간이 약 35초로 단축되었으며, 비최적화 또는 무작위 경로보다 뛰어난 성능을 보였다.
• 실험 결과, Baxter 로봇이 탐지된 주름을 반복적으로 다림질하여 눈에 띄게 주름이 없는 표면을 만들어내었으며, 표면 분석 파이프라인의 효과성을 검증하였다.