[论文解读] Glasgow's Stereo Image Database of Garments

Gerardo Aragón-Camarasa, Susanne Oehler+4 more|arXiv (Cornell University)|Nov 28, 2013

3D Shape Modeling and Analysis参考文献 3被引用 7

一句话总结

本论文介绍了格拉斯哥大学的服装立体图像数据库，这是一个高分辨率的立体图像对数据集，包含从16种市售服装中获取的80张图像，这些图像在五种姿态配置下通过一个主动式双目机械头拍摄。该数据集包含校准后的立体图像、视差图、掩码注释以及校准参数，可实现三维点云重建，并作为非刚性物体感知与立体匹配算法在机器人服装操作任务中的基准测试数据。

ABSTRACT

To provide insight into cloth perception and manipulation with an active binocular robotic vision system, we compiled a database of 80 stereo-pair colour images with corresponding horizontal and vertical disparity maps and mask annotations, for 3D garment point cloud rendering has been created and released. The stereo-image garment database is part of research conducted under the EU-FP7 Clothes Perception and Manipulation (CloPeMa) project and belongs to a wider database collection released through CloPeMa (www.clopema.eu). This database is based on 16 different off-the-shelve garments. Each garment has been imaged in five different pose configurations on the project's binocular robot head. A full copy of the database is made available for scientific research only at https://sites.google.com/site/ugstereodatabase/.

研究动机与目标

• 创建一个基准数据集，用于评估在非刚性、可变形物体（如衣物）上进行立体匹配与三维重建算法的性能。
• 支持机器人对衣物的感知与操作研究，特别是在自动化洗衣分类与折叠任务中的应用。
• 提供一个公开可用的、高质量的立体图像数据库，包含真实视差与掩码注释，以供科学研究使用。
• 支持在涉及纺织品的现实复杂环境中，开发与测试主动式双目视觉系统。
• 促进在ROS系统与GPU加速处理环境下，立体匹配与三维重建流程在机器人系统中的集成。

提出的方法

• 使用自定义的主动式双目机械头，其上安装有两个Nikon D5100单反相机，通过PTU-D46云台实现俯仰与偏航运动，相机基线距离为30厘米。
• 立体图像对以1600万像素（4928 × 3264）分辨率拍摄，采用24位彩色TIFF格式，通过软件控制实现同步采集。
• 采用格拉斯哥立体匹配算法计算水平与垂直视差图，并以ASCII文本矩阵格式存储于7zip压缩包中。
• 使用GIMP 2.8进行人工分割，为左右图像生成高分辨率二值掩码注释，与立体图像对精确对齐。
• 计算并存储了左右相机的相机校准参数（K, D, P, F），以OpenCV兼容的XML格式保存。
• 提供基于MATLAB的重建工具，可将视差图转换为三维点云，源代码一并提供，以确保可复现性。

实验结果

研究问题

• RQ1 在不同姿态配置下，立体匹配算法在高度可变形、非刚性纺织品物体上的表现如何？
• RQ2 视差图与掩码注释在复杂服装几何结构的三维重建中，能多大程度上提升精度？
• RQ3 经过校准的主动式双目机械头系统能否持续生成适合机器人操作任务的高分辨率立体数据？
• RQ4 格拉斯哥立体匹配器在处理真实衣物中的纹理变化、反光差异与复杂褶皱时，其有效性如何？
• RQ5 掩码引导的视差计算对最终三维距离图像的质量与可靠性有何影响？

主要发现

• 该数据库包含80张高分辨率立体图像对（16种服装 × 5种姿态），每对图像均配有对应的水平与垂直视差图及掩码注释。
• 视差图由格拉斯哥立体匹配器计算得出，结果以4928 × 3264的浮点矩阵形式存储于ASCII格式中。
• 掩码注释通过GIMP 2.8人工创建，确保与立体图像在像素级别完全对齐，从而提升视差计算的准确性。
• 相机校准参数（包括内参K、畸变D、投影P与基础矩阵F）以OpenCV兼容的XML文件格式存储。
• 通过提供的基于MATLAB的软件，可实现三维点云重建，且源代码可供集成至机器人系统中。
• 该数据库已公开供研究使用，网址为 https://sites.google.com/site/ugstereodatabase/，支持机器人视觉与衣物感知研究的可复现性。