[论文解读] Fine Hand Segmentation using Convolutional Neural Networks

Tadej Vodopivec, Vincent Lepetit+1 more|arXiv (Cornell University)|Aug 26, 2016

Video Surveillance and Tracking Methods参考文献 15被引用 11

一句话总结

本文提出一种实时、高精度的手部分割方法，采用两阶段卷积神经网络，通过全连接层直接将多尺度特征映射到分割掩码，避免使用池化和上采样操作。该方法在每张图像39毫秒内实现99.3%的准确率，优于标准U-Net架构和基于颜色的方法，通过迭代优化提升了边缘精度并减少了误报。

ABSTRACT

We propose a method for extracting very accurate masks of hands in egocentric views. Our method is based on a novel Deep Learning architecture: In contrast with current Deep Learning methods, we do not use upscaling layers applied to a low-dimensional representation of the input image. Instead, we extract features with convolutional layers and map them directly to a segmentation mask with a fully connected layer. We show that this approach, when applied in a multi-scale fashion, is both accurate and efficient enough for real-time. We demonstrate it on a new dataset made of images captured in various environments, from the outdoors to offices.

研究动机与目标

• 解决在第一人称增强现实应用中实现精确、实时手部分割的挑战。
• 克服现有方法依赖池化、上采样或基于颜色的线索所带来的局限性，这些方法在复杂光照、遮挡或相似肤色背景条件下常失效。
• 通过避免特征图上采样，改用两阶段网络结合上下文感知的迭代优化，提升分割精度与边缘锐度。
• 通过新收集的数据集，在包括室内外环境在内的多样化场景中展示鲁棒性能。

提出的方法

• 该方法使用三个并行的卷积分支，分别以原始分辨率、1/2和1/4分辨率处理输入图像，以提取多尺度特征，且不使用池化层。
• 所有尺度的特征被拼接后输入全连接层，直接生成像素级分割掩码，避免了U-Net架构中常见的过度平滑问题。
• 网络分为两个阶段：第一阶段在1/16分辨率图像上执行粗分割，第二阶段则结合原始图像与粗预测结果进行精细化处理。
• 第二阶段采用更小、更高效的网络，通过同时利用高层上下文信息与低层细节，校正误报并提升边缘定位精度。
• 通过大量训练（98和95个网络）对超参数进行调优，以优化准确率与推理速度，结果表明早期层使用更大卷积核与更多特征图能获得更优性能。
• 该方法受Auto-Context启发，但不同之处在于：第一阶段在下采样图像上执行初始分割，第二阶段则使用原始图像作为输入以恢复精细细节。

实验结果

研究问题

• RQ1 能否设计一种避免上采样与池化层的深度学习架构，使其分割准确率高于标准U-Net架构？
• RQ2 在不使用池化的情况下对多尺度输入进行处理，是否能改善手部边界的定位精度并减少误报？
• RQ3 结合粗粒度上下文与细粒度细节处理的两阶段网络，能否实现高准确率与实时性能？
• RQ4 与仅使用粗预测结果相比，第二阶段中引入原始图像对准确率与边缘质量有何影响？
• RQ5 在复杂真实环境中，该方法相较于传统基于颜色的分割方法在性能上有多大的优势？

主要发现

• 所提方法在每张图像39毫秒内实现99.3%的分割准确率，显著优于标准U-Net架构（185毫秒内仅达94.0%准确率）。
• 两阶段架构相比仅使用第一阶段的模型，显著减少了误报并提升了边缘平滑度；后者准确率为98.3%，但边缘更粗糙。
• 若从第二阶段中移除原始图像（仅使用粗预测结果），准确率下降至98.6%，但速度略有提升（36.7毫秒），表明原始图像对准确率至关重要。
• 该方法在多样化环境（包括户外与办公室场景）中表现出强鲁棒性，定性对比显示误差极小，通常仅为1像素厚。
• 在相同数据集上，基于颜色的分割方法仅达到81%准确率，证实了多尺度特征学习的深度学习方法具有显著优势。
• 最佳性能来自在早期层使用更大卷积核与更多特征图，表明早期层从捕捉更广泛的空间上下文信息中受益。