[论文解读] End-to-end Animal Image Matting.

Jizhizi Li, Jing Zhang+2 more|arXiv (Cornell University)|Oct 30, 2020

Image Enhancement Techniques被引用 6

一句话总结

本文提出GFM，一种新颖的端到端动物图像抠图框架，通过共享编码器与双解码器联合学习语义分割与细节感知抠图，实现了在新提出的AM-2k数据集上的最先进性能。通过定制的组合策略（RSSN）减少合成图像与真实图像之间的域差距，提升了模型泛化能力。

ABSTRACT

Extracting accurate foreground animals from natural animal images benefits many downstream applications such as film production and augmented reality. However, the various appearance and furry characteristics of animals challenge existing matting methods, which usually require extra user inputs such as trimap or scribbles. To resolve these problems, we study the distinct roles of semantics and details for image matting and decompose the task into two parallel sub-tasks: high-level semantic segmentation and low-level details matting. Specifically, we propose a novel Glance and Focus Matting network (GFM), which employs a shared encoder and two separate decoders to learn both tasks in a collaborative manner for end-to-end animal image matting. Besides, we establish a novel Animal Matting dataset (AM-2k) containing 2,000 high-resolution natural animal images from 20 categories along with manually labeled alpha mattes. Furthermore, we investigate the domain gap issue between composite images and natural images systematically by conducting comprehensive analyses of various discrepancies between foreground and background images. We find that a carefully designed composition route RSSN that aims to reduce the discrepancies can lead to a better model with remarkable generalization ability. Comprehensive empirical studies on AM-2k demonstrate that GFM outperforms state-of-the-art methods and effectively reduces the generalization error.

研究动机与目标

• 为解决自然图像中复杂毛发与外观变化导致现有抠图方法难以准确提取动物前景的问题。
• 通过端到端学习从原始图像直接预测，消除对用户提供的Trimap或草图的依赖。
• 系统性地研究并缓解合成（复合）训练图像与真实自然图像之间的域差距。
• 建立一个高质量基准数据集AM-2k，包含2,000张高分辨率自然动物图像及精确的alpha抠图，用于动物抠图任务。
• 通过设计一种减少前景与背景图像在训练数据中差异的组合策略（RSSN），提升模型泛化能力。

提出的方法

• GFM网络使用共享编码器从输入图像中提取分层特征，随后通过两个并行解码器分别完成语义分割与细节抠图任务。
• 语义解码器预测粗粒度前景掩码，而细节解码器则输出具有更高边缘与纹理保真度的精细alpha抠图。
• 两个解码器通过多任务损失联合训练，平衡分割与抠图目标，实现特征的协同学习。
• 提出一种新颖的组合策略——RSSN（反向风格合成网络），通过模仿真实世界图像的统计特性，生成域差距更小的训练图像。
• 模型在AM-2k数据集上进行端到端训练，该数据集包含20个动物类别共2,000张高分辨率自然动物图像，配有真人标注的alpha抠图。
• 通过比较合成数据与真实数据中前景与背景图像在颜色分布、纹理和空间布局上的差异，开展域差距分析。

实验结果

研究问题

• RQ1 如何在不依赖用户提供的Trimap或草图的前提下，提升端到端动物图像抠图的性能？
• RQ2 高层语义与低层细节在动物抠图中分别发挥什么作用？如何实现两者的联合优化？
• RQ3 合成复合图像与真实自然图像之间的域差距在多大程度上损害了抠图模型的泛化能力？
• RQ4 定制化的数据组合策略能否有效减少域差异，并提升模型在真实世界动物图像上的泛化性能？
• RQ5 所提出的GFM框架在自然动物图像上的准确率与鲁棒性方面，相较于最先进方法表现如何？

主要发现

• GFM在AM-2k基准测试中达到最先进性能，在平均绝对误差（MAE）与结构相似性（SSIM）指标上均优于现有方法。
• 所提出的RSSN组合策略显著减少了域差距差异，显著提升了模型在真实自然图像上的泛化能力。
• 消融实验证实，通过双解码器联合学习语义与细节可提升抠图精度，尤其在处理细密毛发与复杂边缘时表现更优。
• AM-2k数据集展现出高多样性与高质量，包含20个动物类别共2,000张高分辨率图像，配有精确的人工标注alpha抠图。
• 全面分析表明，前景与背景图像在分布上的不匹配——尤其是颜色与纹理方面——会显著降低模型在真实图像上的性能。
• 使用RSSN生成数据训练的模型在真实世界测试图像上泛化能力更强，相比在标准复合数据上训练的模型，其泛化误差更低。