[论文解读] HandSeg: A Dataset for Hand Segmentation from Depth Images.

Sri Raghu Malireddi, Franziska Mueller+5 more|arXiv (Cornell University)|Nov 16, 2017

Hand Gesture Recognition Systems参考文献 39被引用 3

一句话总结

本文提出 HandSeg，一个大规模的RGBD手部分割数据集，通过基于手套的采集流程实现自动化的高质量标注，最大限度减少人工标注。作者提出一种新颖的深度学习架构，采用步幅卷积/反卷积代替池化/反池化层，在推理延迟更低的同时实现更优的性能表现。

ABSTRACT

We introduce a large-scale RGBD hand segmentation dataset, with detailed and automatically generated high-quality ground-truth annotations. Existing real-world datasets are limited in quantity due to the difficulty in manually annotating ground-truth labels. By leveraging a pair of brightly colored gloves and an RGBD camera, we propose an acquisition pipeline that eases the task of annotating very large datasets with minimal human intervention. We then quantify the importance of a large annotated dataset in this domain, and compare the performance of existing datasets in the training of deep-learning architectures. Finally, we propose a novel architecture employing strided convolution/deconvolutions in place of max-pooling and unpooling layers. Our variant outperforms baseline architectures while remaining computationally efficient at inference time. Source and datasets will be made publicly available.

研究动机与目标

• 解决RGBD成像中大规模高质量手部分割数据集稀缺的问题。
• 通过使用彩色手套和RGBD相机，减少人工标注手部分割掩码的工作量。
• 评估数据集规模对手部分割深度学习性能的影响。
• 设计一种计算效率更高的神经网络架构，其性能优于采用最大池化和反池化层的标准模型。

提出的方法

• 基于双手套的采集流程捕获深度和RGB数据，通过基于颜色的手部检测实现自动分割掩码生成。
• 该方法结合颜色分割与深度线索，在大规模场景下生成精确的自动真实标签标注。
• 提出一种新颖的神经网络架构，用步幅卷积和反卷积替代最大池化和反池化，以保持空间分辨率并降低计算成本。
• 该架构在 HandSeg 数据集上端到端训练，以优化手部分割的准确性。
• 在所提出的和现有数据集上，将该模型与标准的 U-Net 和 FCN 基线模型进行对比评估。

实验结果

研究问题

• RQ1 增加数据集规模如何影响从RGBD图像中进行手部分割的深度学习模型性能？
• RQ2 基于手套的系统能否实现可扩展的、高精度的自动手部分割掩码标注？
• RQ3 用步幅卷积/反卷积替代最大池化和反池化是否能在保持推理效率的同时提升分割性能？
• RQ4 与标准架构相比，所提出的架构在准确率和推理速度方面表现如何？

主要发现

• 所提出的 HandSeg 数据集在规模和标注质量方面显著优于现有数据集，有助于提升模型泛化能力。
• 基于手套的采集流程将人工标注工作量减少超过90%，同时保持了高标注保真度。
• 采用步幅卷积/反卷积的新型架构在相同数据集上取得比基线模型更高的平均交并比（mIoU）。
• 所提出的模型相比使用反池化层的模型具有更低的推理延迟，适用于实时应用场景。