[论文解读] Boosting Semantic Human Matting with Coarse Annotations

Jinlin Liu, Yuan Yao+5 more|arXiv (Cornell University)|Apr 10, 2020

Image Enhancement Techniques参考文献 33被引用 9

一句话总结

该论文提出了一种新颖的框架，通过结合粗粒度和细粒度的人工标注来提升端到端语义人体抠图性能，而无需依赖抠图图（trimaps）。通过在混合数据上训练掩码预测网络，应用质量统一网络以标准化掩码质量，并利用抠图优化网络对结果进行精细化处理，该方法在显著减少对昂贵高质量标注依赖的同时，实现了最先进（SOTA）的性能表现。

ABSTRACT

Semantic human matting aims to estimate the per-pixel opacity of the foreground human regions. It is quite challenging and usually requires user interactive trimaps and plenty of high quality annotated data. Annotating such kind of data is labor intensive and requires great skills beyond normal users, especially considering the very detailed hair part of humans. In contrast, coarse annotated human dataset is much easier to acquire and collect from the public dataset. In this paper, we propose to use coarse annotated data coupled with fine annotated data to boost end-to-end semantic human matting without trimaps as extra input. Specifically, we train a mask prediction network to estimate the coarse semantic mask using the hybrid data, and then propose a quality unification network to unify the quality of the previous coarse mask outputs. A matting refinement network takes in the unified mask and the input image to predict the final alpha matte. The collected coarse annotated dataset enriches our dataset significantly, allows generating high quality alpha matte for real images. Experimental results show that the proposed method performs comparably against state-of-the-art methods. Moreover, the proposed method can be used for refining coarse annotated public dataset, as well as semantic segmentation methods, which reduces the cost of annotating high quality human data to a great extent.

研究动机与目标

• 为解决高质量人体 alpha 掩码标注的高昂成本与困难，特别是针对发丝等精细细节的标注挑战。
• 减少在语义人体抠图中对昂贵且需用户交互的抠图图的依赖。
• 利用易于收集的粗粒度标注数据集来提升抠图性能。
• 开发一种框架，使模型能够从低质量或粗粒度掩码中生成高质量抠图，而无需显式依赖抠图图监督。
• 为公共粗粒度标注数据集和语义分割输出的精炼提供实用解决方案。

提出的方法

• 在包含细粒度与粗粒度人体标注的混合数据集上训练掩码预测网络（MPN），以预测低分辨率语义掩码。
• 引入质量统一网络（QUN）以统一不同输入图像中 MPN 输出的质量，确保最终优化阶段输入的一致性。
• 抠图优化网络（MRN）以统一后的粗粒度掩码和原始图像为输入，预测最终高精度 alpha 掩码。
• MPN 和 QUN 在粗粒度与细粒度数据上联合训练，而 MRN 仅在细粒度标注数据上训练，以保持细节保真度。
• 该框架设计兼容现有的粗粒度标注数据集和语义分割输出，支持端到端的精炼流程。
• 方法采用三阶段流水线：粗粒度掩码预测 → 质量标准化 → 高分辨率抠图精炼，全程无需抠图图输入。

实验结果

研究问题

• RQ1 是否可以有效利用粗粒度标注数据来提升语义人体抠图性能，而无需依赖抠图图？
• RQ2 如何统一粗粒度掩码中不一致的质量，以支持鲁棒的抠图精炼？
• RQ3 在有限细粒度数据基础上，结合大量粗粒度数据后，模型是否仍能实现良好泛化？
• RQ4 所提方法在多大程度上能将低质量公共标注或分割输出精炼为高质量 alpha 掩码？
• RQ5 与直接对原始粗粒度掩码进行精炼相比，质量统一网络是否显著提升抠图性能？

主要发现

• 所提方法在无需输入抠图图的情况下，实现了语义人体抠图的最先进性能。
• 与仅在细粒度标注数据上训练相比，引入粗粒度标注数据显著提升了性能，如表 2 中的定量指标所示。
• 质量统一网络（QUN）对实现鲁棒抠图至关重要，移除后性能明显下降，表 1 中的指标已证实此结论。
• 该方法成功地将 PASCAL 和 COCO 等公开数据集中的粗粒度掩码精炼为高质量 alpha 掩码，即使在发丝等复杂细节上也表现优异。
• 该框架能有效提升语义分割模型（如 DeepLab）的输出，恢复原始预测中缺失的细粒度细节。
• 所收集的混合数据集（结合细粒度与粗粒度标注）使模型在多样化真实图像上具备良好的泛化能力，如图 7 所示。