[논문 리뷰] Glasgow's Stereo Image Database of Garments

Gerardo Aragón-Camarasa, Susanne Oehler외 4명|arXiv (Cornell University)|2013. 11. 28.

3D Shape Modeling and Analysis참고 문헌 3인용 수 7

한 줄 요약

이 논문은 고해상도 스테레오 쌍 이미지 데이터셋인 글래스고의 의류 스테레오 이미지 데이터베이스를 제시한다. 이 데이터셋은 16종의 상용 의류를 5가지 포즈 구성에서 활성 스테레오 로봇 헤드를 사용해 촬영한 80장의 이미지로 구성되어 있으며, 校정된 스테레오 이미지, 디스parity 맵, 마스크 애너테이션, 캘리브레이션 파라미터를 포함한다. 이는 3차원 포인트 클라우드 재구성과 로봇 의류 조작을 위한 비강성 물체 인식 및 스테레오 매칭 알고리즘의 벤치마크로 활용 가능하다.

ABSTRACT

To provide insight into cloth perception and manipulation with an active binocular robotic vision system, we compiled a database of 80 stereo-pair colour images with corresponding horizontal and vertical disparity maps and mask annotations, for 3D garment point cloud rendering has been created and released. The stereo-image garment database is part of research conducted under the EU-FP7 Clothes Perception and Manipulation (CloPeMa) project and belongs to a wider database collection released through CloPeMa (www.clopema.eu). This database is based on 16 different off-the-shelve garments. Each garment has been imaged in five different pose configurations on the project's binocular robot head. A full copy of the database is made available for scientific research only at https://sites.google.com/site/ugstereodatabase/.

연구 동기 및 목표

• 의류와 같은 비강성·변형 가능한 물체에 대해 스테레오 매칭 및 3차원 재구성 알고리즘을 평가하기 위한 벤치마크 데이터셋을 구축하기 위해.
• 자동 세탁 정리 및 접기와 같은 분야에서 의류의 로봇 인식 및 조작 연구를 지원하기 위해.
• 과학적 목적을 위해 공개된 고품질의 스테레오 이미지 데이터베이스를 제공하고, 실제 디스파리티 및 마스크 애너테이션을 포함하기 위해.
• 실생활의 혼잡한 환경에서 섬유를 다루는 활성 스테레오 비전 시스템의 개발을 가능하게 하기 위해.
• ROS 및 GPU 가속 처리를 활용한 로봇 시스템에서 스테레오 매칭 및 3차원 재구성 파이프라인의 통합을 촉진하기 위해.

제안 방법

• 데이터베이스는 두 대의 니콘 D5100 DSLR 카메라를 PTU-D46 편향-기울기 유닛에 장착한 맞춤형 활성 스테레오 로봇 헤드를 사용해 촬영하였다. 카메라 간 기준 거리는 30cm이다.
• 스테레오 쌍 이미지는 소프트웨어 제어를 통해 동기화된 상태에서 1600만 픽셀(4928 × 3264)의 24비트 컬러 TIFF 형식으로 촬영되었다.
• 글래스고 스테레오 매칭 알고리즘을 적용하여 수평 및 수직 디스파리티 맵을 계산하였으며, 결과는 7zip 압축 형식의 ASCII 텍스트 행렬로 저장되었다.
• GIMP 2.8를 사용한 수동 분할을 통해 왼쪽 및 오른쪽 이미지에 대해 고해상도 이진 마스크 애너테이션을 생성하였으며, 스테레오 쌍과 정확히 일치시켰다.
• 카메라 캘리브레이션 파rameter(K, D, P, F)는 왼쪽 및 오른쪽 카메라 각각에 대해 OpenCV 호환 XML 형식으로 계산 및 저장되었다.
• 재현 가능성을 확보하기 위해 MATLAB 기반 재구성 도구를 포함하였으며, 소스 코드는 제공되어 로봇 시스템에 통합 가능하다.

실험 결과

연구 질문

• RQ1 다양한 포즈 구성에서 극적으로 변형 가능한 비강성 섬유 물체에 대해 스테레오 매칭 알고리즘이 얼마나 잘 작동하는가?
• RQ2 디스파리티 맵과 마스크 애너테이션은 복잡한 의류 기하학적 형태의 3차원 재구성 정확도를 어느 정도 향상시키는가?
• RQ3 캘리브레이션된 활성 스테레오 로봇 헤드 시스템이 로봇 조작 작업에 적합한 일관성 있고 고해상도의 스테레오 데이터를 생성할 수 있는가?
• RQ4 실생활 의류에서의 질감 변화, 반사도 차이, 복잡한 접힘 구조를 다룰 때 글래스고 스테레오 매칭 알고리즘이 얼마나 효과적인가?
• RQ5 마스크 유도 디스파리티 계산이 최종 3차원 레인지 이미지의 품질과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 데이터베이스는 80장의 고해상도 스테레오 쌍 이미지(16종의 의류 × 5개 포즈)로 구성되어 있으며, 각각에 대해 수평 및 수직 디스파리티 맵과 마스크 애너테이션이 포함되어 있다.
• 디스파리티 맵은 글래스고 스테레오 매칭 알고리즘을 사용해 계산되었으며, 결과는 ASCII 형식의 4928 × 3264 플로팅 포인트 행렬로 저장되었다.
• 마스크 애너테이션은 GIMP 2.8를 사용해 수동으로 생성되었으며, 디스파리티 계산의 정확도 향상을 위해 스테레오 이미지와 픽셀 단위로 정확히 일치시켰다.
• 내재 매트릭스(K), 왜곡 매트릭스(D), 투영 매트릭스(P), 기본 매트릭스(F)를 포함한 카메라 캘리브레이션 파라미터는 OpenCV 호환 XML 파일 형식으로 저장되었다.
• 제공된 MATLAB 기반 소프트웨어를 통해 디스파리티 맵에서 3차원 포인트 클라우드 재구성을 가능하게 하며, 소스 코드는 로봇 시스템에 통합하기 위해 제공된다.
• 이 데이터베이스는 연구 목적을 위해 공개되어 있으며, https://sites.google.com/site/ugstereodatabase/ 에서 이용 가능하며, 로봇 시각 및 의류 인식 분야의 재현 가능한 연구를 지원한다.