[논문 리뷰] Single-Shot Clothing Category Recognition in Free-Configurations with Application to Autonomous Clothes Sorting

Li Sun, Gerardo Aragón-Camarasa외 3명|arXiv (Cornell University)|2017. 07. 22.

Industrial Vision Systems and Defect Detection참고 문헌 17인용 수 5

한 줄 요약

이 논문은 2.5D 깊이 데이터와 새로운 시각적 특징—B-Spline 패치(BSP) 및 토폴로지 공간 거리(TSD)—를 사용한 단일 촬영 의류 카테고리 인식 시스템을 제안한다. 이 특징들은 국소성 제약 선형 코딩(LLC)을 통해 인코딩되며, 자유로운 구성에서 미리 보지 않은 의류 항목에 대해 83.2%의 정확도를 달성한다. 이는 기존 최고 성능 대비 36.2% 향상된 성과이며, 이중 암 로봇의 이중 암 운동을 통해 자율적인 의류 정리가 가능하게 한다.

ABSTRACT

This paper proposes a single-shot approach for recognising clothing categories from 2.5D features. We propose two visual features, BSP (B-Spline Patch) and TSD (Topology Spatial Distances) for this task. The local BSP features are encoded by LLC (Locality-constrained Linear Coding) and fused with three different global features. Our visual feature is robust to deformable shapes and our approach is able to recognise the category of unknown clothing in unconstrained and random configurations. We integrated the category recognition pipeline with a stereo vision system, clothing instance detection, and dual-arm manipulators to achieve an autonomous sorting system. To verify the performance of our proposed method, we build a high-resolution RGBD clothing dataset of 50 clothing items of 5 categories sampled in random configurations (a total of 2,100 clothing samples). Experimental results show that our approach is able to reach 83.2\% accuracy while classifying clothing items which were previously unseen during training. This advances beyond the previous state-of-the-art by 36.2\%. Finally, we evaluate the proposed approach in an autonomous robot sorting system, in which the robot recognises a clothing item from an unconstrained pile, grasps it, and sorts it into a box according to its category. Our proposed sorting system achieves reasonable sorting success rates with single-shot perception.

연구 동기 및 목표

• 기존의 RGB 또는 윤곽 기반 특징이 음영과 변형으로 인해 실패하는, 임의의 찌그러진 구성에서 의류 카테고리 인식의 과제를 해결하기 위해.
• 음영에 취약한 의미적 구성 요소가 아닌, 소재 특성(예: 직물 종류, 경도)을 포착하는 강건한 시각적 표현을 개발하기 위해.
• 대규모 딥러닝에 의존하지 않고, 제한된 훈련 데이터로도 실세계 로봇 시스템에서 단일 촬영 인식을 가능하게 하기 위해.
• 이중 암 운동을 통한 자율적 의류 정리에 인식 파이프라인을 통합하여, 인식-조작 사이클 수를 최소화하기 위해.
• 50개의 새로운 의류 항목(5개 카테고리)에서 2,100개 샘플로 구성된 고해상도 RGBD 데이터셋에서 성능을 검증하기 위해.

제안 방법

• 고해상도 로봇 헤드를 통해 촬영된 2.5D 스테레오 깊이 데이터를 사용해 기하 표면 특징을 추출한다.
• 국소적이고 전역적인 형태 특징을 강건하게 인코딩하기 위해, 새로운 특징 두 가지—B-Spline 패치(BSP) 및 토폴로지 공간 거리(TSD)—를 제안한다.
• 국소 BSP 특징은 국소성 제약 선형 코딩(LLC)을 통해 인코딩되어 분류 능력이 향상된다.
• 인코딩된 국소 특징은 LBP, SI 및 TSD의 세 가지 전역 특징과 융합되어 카테고리 간 분류 능력이 향상된다.
• 분류에 대해 RBF 커널을 사용한 서포트 벡터 머신(SVM)을 사용하며, 로그 우도 최대화를 통해 최적화된다.
• 전체 파이프라인은 스테레오 시각, 의류 인스턴스 검출 및 이중 암 운동을 통합하여 자율적 정리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 2.5D 깊이 데이터만을 사용하여, 임의의 찌그러진 구성에서 단일 촬영 인식 시스템이 높은 정확도로 의류 카테고리를 분류할 수 있는가?
• RQ2 제안된 BSP 및 TSD 특징 표현 방식이 FINDDD+BoF와 같은 기존 방법에 비해 내부 클래스 변동성과 음영에 대해 얼마나 강건한가?
• RQ3 훈련 중에 보지 않은 의류 항목과 카테고리로의 일반화 능력은 어느 정도인가?
• RQ4 인식 파이프라인은 실세계 로봇 시스템에 성공적으로 통합되어 단일 촬영으로 의류 정리를 자율적으로 수행할 수 있는가?
• RQ5 센서 품질(예: 로봇 헤드 대 표준 깊이 카메라)이 제약 없는 환경에서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이전에 보지 않은 의류 항목에서 83.2%의 분류 정확도를 달성하였으며, 이는 이전 최고 성능인 47% 대비 36.2% 향상된 성과이다.
• 로봇 헤드 센서는 Asus Xtion보다 성능이 뛰어나 동일한 데이터셋에서 83.2%의 정확도를 기록한 반면, Asus Xtion은 64.2%의 정확도를 기록하였다. 이는 더 고품질의 깊이 맵 덕분이다.
• L-S-T-B 특징 표현 방식(국소 BSP, LLC, TSD 융합)이 가장 높은 정확도를 기록하였으며, 기준 방법인 FINDDD+BoF보다 19%p 높은 성능을 보였다.
• 이중 암 로봇 시스템은 자율적 정리에서 총 성공률 66%(50개 중 33개)를 기록하였으며, 높은 내부 클래스 이질성으로 인해 셔츠의 경우 실패율이 높았다.
• 실패 원인은 주로 시각적으로 유사한 항목에서의 세그멘테이션 오류, 큰 옷에서의 음영, 그리고 조작 중 발생하는 변형 때문이었다.
• 시스템은 실세계 구현에서 강건성을 입증하였으며, 한 번의 인식 후 반복적인 잡기 시도를 통해 기존 방법 대비 인식-조작 사이클 수를 줄였다.