[论文解读] Deep Image Matting with Flexible Guidance Input

Hang Cheng, Shugong Xu+2 more|arXiv (Cornell University)|Oct 21, 2021

Image Enhancement Techniques被引用 4

一句话总结

本文提出了一种支持灵活引导输入（trimap、scribblemap、clickmap 或无引导）的深度图像抠图方法，采用渐进式 trimap 变形（PTD）方案和语义融合模块（SFM）。该方法在所有引导级别（包括无引导）下均实现了最先进性能，通过在训练过程中逐步扭曲 trimap，并融合多尺度特征以实现鲁棒的前景-背景分离。

ABSTRACT

Image matting is an important computer vision problem. Many existing matting methods require a hand-made trimap to provide auxiliary information, which is very expensive and limits the real world usage. Recently, some trimap-free methods have been proposed, which completely get rid of any user input. However, their performance lag far behind trimap-based methods due to the lack of guidance information. In this paper, we propose a matting method that use Flexible Guidance Input as user hint, which means our method can use trimap, scribblemap or clickmap as guidance information or even work without any guidance input. To achieve this, we propose Progressive Trimap Deformation(PTD) scheme that gradually shrink the area of the foreground and background of the trimap with the training step increases and finally become a scribblemap. To make our network robust to any user scribble and click, we randomly sample points on foreground and background and perform curve fitting. Moreover, we propose Semantic Fusion Module(SFM) which utilize the Feature Pyramid Enhancement Module(FPEM) and Joint Pyramid Upsampling(JPU) in matting task for the first time. The experiments show that our method can achieve state-of-the-art results comparing with existing trimap-based and trimap-free methods.

研究动机与目标

• 解决图像抠图中手动创建 trimap 所带来的高用户负担问题。
• 通过引入灵活的用户引导输入，提升无 trimap 方法的性能。
• 使单一模型能够处理不同复杂度的用户输入——trimap、草图、点击或无输入。
• 通过多尺度语义融合增强特征学习，以实现准确的 alpha 抠图预测。
• 开发一种在多样化引导输入下具有良好泛化能力的训练方案。

提出的方法

• 提出渐进式 trimap 变形（PTD）数据增强方案，训练过程中逐步缩小 trimap 中的前景和背景区域，将其转化为草图地图。
• 采用随机点采样和曲线拟合技术，模拟逼真的用户草图和点击，提升对多样化用户输入的鲁棒性。
• 提出语义融合模块（SFM），结合特征金字塔增强模块（FPEM）与联合金字塔上采样（JPU），实现多尺度语义特征融合。
• 端到端联合训练多种引导类型，实现对未见引导级别的零样本泛化能力。
• 采用组合方程 $ I_i = \alpha_i F_i + (1 - \alpha_i) B_i $ 作为基础抠图公式，其中 $ \alpha \in [0,1] $。
• 不仅利用 PTD 提升低引导输入下的性能，还增强对点击图和无引导场景的泛化能力。

实验结果

研究问题

• RQ1 深度图像抠图模型是否能在包括无引导在内的多种引导输入类型下实现最先进性能？
• RQ2 在训练过程中对 trimap 进行渐进式变形，如何提升对稀疏用户输入（如草图和点击）的鲁棒性？
• RQ3 使用 PTD 训练的单一模型在无 trimap 抠图场景下的泛化能力能达到何种程度？
• RQ4 所提出的语义融合模块（SFM）是否能有效增强特征表示，以实现准确的 alpha 抠图预测？
• RQ5 随着引导质量下降，模型性能如何退化？在完全无引导情况下是否仍保持鲁棒性？

主要发现

• 在无引导测试集上，该方法的 SAD 为 36.36，MSE 为 0.0141，证明其在无任何用户输入下仍具有强大性能。
• 在点击图引导下，该方法的 SAD 为 34.67，MSE 为 0.0112，优于现有无 trimap 方法。
• 与标准训练相比，PTD 方案在 trimap 上提升了 2.32 个 SAD 点，在点击图和无引导场景下提升超过 10 个 SAD 点。
• 将 PTD 应用于 GCA 和 DIM 模型后，其无引导 SAD 分别从 60.15 和 90.10 降低至 41.05 和 65.67。
• SFM 模块在所有引导类型下均提升性能，消融实验证明其优于单独使用 FPEM 或 JPU。
• 该方法在不同草图图和点击图测试集上表现出较低的标准差，证明其对相同引导级别下形状变化具有鲁棒性。