[论文解读] Beyond One Glance: Gated Recurrent Architecture for Hand Segmentation

Wei Wang, Kaicheng Yu+3 more|arXiv (Cornell University)|Nov 27, 2018

Hand Gesture Recognition Systems参考文献 26被引用 4

一句话总结

本文提出一种门控循环架构，通过在U-Net主干网络的多个编码器-解码器层间迭代更新分割掩码和网络内部状态，实现对手部分割的精细化处理。该方法在多个手部分割基准测试中优于当前最先进的一次性分割和简单循环方法，并在道路分割任务中展现出良好的泛化能力，以更少的参数实现了更高的精度。

ABSTRACT

As mixed reality is gaining increased momentum, the development of effective and efficient solutions to egocentric hand segmentation is becoming critical. Traditional segmentation techniques typically follow a one-shot approach, where the image is passed forward only once through a model that produces a segmentation mask. This strategy, however, does not reflect the perception of humans, who continuously refine their representation of the world. In this paper, we therefore introduce a novel gated recurrent architecture. It goes beyond both iteratively passing the predicted segmentation mask through the network and adding a standard recurrent unit to it. Instead, it incorporates multiple encoder-decoder layers of the segmentation network, so as to keep track of its internal state in the refinement process. As evidenced by our results on standard hand segmentation benchmarks and on our own dataset, our approach outperforms these other, simpler recurrent segmentation techniques, as well as the state-of-the-art hand segmentation one. Furthermore, we demonstrate the generality of our approach by applying it to road segmentation, where it also outperforms other baseline methods.

研究动机与目标

• 通过模仿人类感知的迭代优化方式，解决自 egocentric 手部分析中一次性分割方法的局限性。
• 通过在多个优化步骤中保持并更新网络内部状态，提升分割精度。
• 开发一种通用的循环架构，可应用于手部分割之外的任务，并在其他语义分割任务中展示泛化能力。
• 构建一个大规模、公开可用的手部分割数据集（12.5K张图像），以支持未来研究。

提出的方法

• 提出一种新型门控循环单元（GRU），可在U-Net的多个编码器-解码器层之间运行，使内部状态更新突破单个隐藏层的限制。
• 提出两种变体：Ours-DRU（密集循环单元）和Ours-SRU（简单循环单元），两者在每个优化步骤中均将分割掩码作为输入。
• 采用一种循环机制，使高层特征在网络内部层间传播，实现更深层次的上下文优化。
• 采用多阶段优化流程，网络迭代处理图像和先前的掩码，并在每一步更新其内部状态。
• 在马萨诸塞州道路数据集上应用相同架构进行道路分割，验证其泛化能力。
• 从零开始训练，不使用ImageNet预训练，从而可与采用大型预训练主干网络的方法进行比较。

实验结果

研究问题

• RQ1 一种同时优化分割掩码和网络内部状态的循环架构，是否能超越一次性分割方法，显著提升手部分割性能？
• RQ2 在多个编码器-解码器层之间引入循环机制，与标准RNN或仅掩码反馈的循环机制相比，其优化效果如何？
• RQ3 所提出的架构是否能泛化到手部分割以外的其他语义分割任务？
• RQ4 该方法能否在参数量远少于现有最先进模型的前提下，实现最先进性能？

主要发现

• 在Ego-Youtube-Hands（EYTH）数据集上，所提出的Ours-DRU(4)模型达到0.8355的平均交并比（mIOU），优于先前最先进方法RefineNet。
• 在HandOverFace（HOF）数据集上，尽管训练集规模较小（198张图像），该模型仍取得第二名的性能，mIOU为0.784。
• 在马萨诸塞州道路数据集上的道路分割任务中，Ours-DRU(4)达到0.560的mIOU和0.757的P/R得分，优于基线方法，包括一个基于VGG19的U-Net和采用拓扑感知损失的方法。
• 该模型仅使用相比同类最先进方法约1/8的参数量，即实现了更优性能，表明其具有极高的参数效率。
• 可视化对比显示，该模型在复杂情况（如细小手指分离和遮挡区域）下的预测结果甚至优于真实标注，精度更高。
• 消融实验表明，若从输入中移除分割掩码，EYTH数据集上的mIOU将从0.8355降至0.8256，但模型仍优于Rec-Middle（0.814），证明掩码反馈机制的重要性。