[논문 리뷰] Active Clothing Material Perception using Tactile Sensing and Deep Learning

Wenzhen Yuan, Yuchen Mo외 2명|arXiv (Cornell University)|2017. 11. 02.

Industrial Vision Systems and Defect Detection참고 문헌 20인용 수 8

한 줄 요약

이 논문은 로봇 시스템이 감촉 센서(GelSight 센서)를 사용한 촉각 감지와 Kinect를 통한 시각 유도 탐색을 통해 두꺼움, 부드러움, 세탁 방법과 같은 세분화된 의류 소재 특성을 자율적으로 인식하는 방법을 제시한다. 촉각 영상 분류를 위한 합성곱 신경망(CNN)과 깊이 영상 기반 탐색 계획을 결합함으로써, 로봇은 두 번 이내의 촉각 접촉 내에 77.4%의 의류를 확신 있게 분류할 수 있었으며, 재시도 기능을 허용할 경우 정밀도가 크게 향상되어, 익명의 의류 항목에 대한 효과적인 폐쇄형 활성 촉각 인식이 가능함을 입증한다.

ABSTRACT

Humans represent and discriminate the objects in the same category using their properties, and an intelligent robot should be able to do the same. In this paper, we build a robot system that can autonomously perceive the object properties through touch. We work on the common object category of clothing. The robot moves under the guidance of an external Kinect sensor, and squeezes the clothes with a GelSight tactile sensor, then it recognizes the 11 properties of the clothing according to the tactile data. Those properties include the physical properties, like thickness, fuzziness, softness and durability, and semantic properties, like wearing season and preferred washing methods. We collect a dataset of 153 varied pieces of clothes, and conduct 6616 robot exploring iterations on them. To extract the useful information from the high-dimensional sensory output, we applied Convolutional Neural Networks (CNN) on the tactile data for recognizing the clothing properties, and on the Kinect depth images for selecting exploration locations. Experiments show that using the trained neural networks, the robot can autonomously explore the unknown clothes and learn their properties. This work proposes a new framework for active tactile perception system with vision-touch system, and has potential to enable robots to help humans with varied clothing related housework.

연구 동기 및 목표

• 자연 환경에서 로봇이 굵은 시각적 분류를 넘어서 세분화된 의류 소재 특성을 자율적으로 인식할 수 있도록 하는 것.
• 비효율적인 촉각 탐색 문제를 해결하기 위해 시각(Kinect)과 촉각(GelSight) 센서를 융합하여 지능적이고 적응 가능한 탐색을 수행하는 것.
• 분류에 대한 확신이 낮을 경우 재시도를 수행하는 폐쇄형 시스템을 개발하여 정확도와 내성 향상시키는 것.
• 학습 및 평가를 위한 촉각 인식 모델을 위해 153종의 다양한 의류 항목에 대해 11개의 레이블이 부여된 데이터셋을 구축하는 것.
• 딥 러닝 기반 모델이 익명의 의류 항목으로 일반화되어 활성 촉각 감지를 통해 신뢰할 수 있는 특성 인식을 가능하게 함을 입증하는 것.

제안 방법

• GelSight 촉각 센서와 Kinect 깊이 카메라를 장착한 로봇 팔이 비정형 환경에서 의류 항목을 자율적으로 탐색한다.
• 시스템은 압축 과정에서 촬영한 고해상도 촉각 영상에서 11개의 의류 특성(예: 두께, 부드러움, 세탁 방법)을 분류하기 위해 합성곱 신경망(CNN)을 사용한다.
• 두 번째 CNN은 Kinect 깊이 영상을 처리하여 최적의 주름 위치를 탐지하고 선택함으로써 데이터 품질을 향상시킨다.
• 탐색은 폐쇄형으로 수행된다: 촉각 CNN의 분류에 대한 확신이 낮을 경우, 로봇은 다른 위치에서 재시도하여 탐색을 수행한다.
• 시스템은 153종의 의류 항목에 걸쳐 6,616회의 탐색 반복 데이터를 기반으로 훈련되었으며, 데이터는 훈련, 검증, 테스트 세트로 분할되었다.
• 손으로 만든 특징(예: 주름 탐지)과 딥 러닝을 융합한 하이브리드 접근 방식을 통해 탐색 계획의 내성 향상에 기여한다.

실험 결과

연구 질문

• RQ1 로봇이 비정형 환경에서 오직 촉각 및 시각 센서만을 사용하여 세분화된 의류 소재 특성을 자율적으로 인식할 수 있는가?
• RQ2 시각 유도 촉각 탐색 전략은 소재 특성 인식을 위한 정보성 있는 접촉 위치를 효과적으로 선택하는가?
• RQ3 딥 러닝 모델은 다중 레이블 촉각 특성 분류에서 익명의 의류 항목으로 일반화되는 정도는 어느 정도인가?
• RQ4 폐쇄형 재시도 메커니즘은 촉각 기반 특성 인식의 신뢰성과 정확도를 향상시키는가?
• RQ5 다양한 의류 특성(예: 신축성, 내구성)은 데이터셋 내에서 인식 난이도가 어떻게 다름이 있는가?

주요 결과

• 두 번 이내의 촉각 접촉 내에 의류 특성을 분류한 성공률은 77.42%를 기록하여, '쉬운' 의류 항목을 빠르게 식별하는 데 높은 효율성을 보였다.
• 재시도 기능을 활성화한 결과, 모든 11개 특성에 대해 평균 정밀도가 크게 향상되었으며, 특히 '신축성'(0.74에서 0.81로)과 '내구성'(0.86에서 0.86으로)에서 가장 큰 향상을 보였다.
• '울'과 '바람막이' 특성에 대해서는 재시도 시 각각 91%와 82%의 정밀도를 기록하여 의미론적 특성에 대해 뛰어난 성능을 보였다.
• 촉각 CNN은 익명 테스트 의류에서 평균 F1 스코어 0.65를 기록하여 우연의 경우(0.2–0.5)를 뛰어넘으며 훈련 데이터셋 외부로의 일반화 능력을 입증했다.
• 탐색 계획 CNN은 효과적인 촉각 위치 선택에 대해 0.73의 성공률을 기록하여, 의류 유형과 전체 형태가 위치 선택 성능에 제한적인 영향을 미친다는 것을 시사했다.
• 센서 변동성에 대한 저항력이 있었으며, 훈련에 사용되지 않은 다른 GelSight 센서를 사용한 결과도 사용 가능했으나, 조명 분포의 약간의 차이가 있었다.