[论文解读] Deep Image Matting: A Comprehensive Survey

Jizhizi Li, Jing Zhang+1 more|arXiv (Cornell University)|Apr 10, 2023

Image Enhancement Techniques被引用 6

一句话总结

本综述全面回顾了基于深度学习的图像抠图方法，将其分为基于辅助输入的方法与自动抠图方法两类。文章分析了网络架构，在基准数据集上评估了性能，并指出了关键挑战与未来研究方向，包括弱监督学习、合成数据到真实数据的域差距减少，以及与扩散模型和多模态输入的结合。

ABSTRACT

Image matting refers to extracting precise alpha matte from natural images, and it plays a critical role in various downstream applications, such as image editing. Despite being an ill-posed problem, traditional methods have been trying to solve it for decades. The emergence of deep learning has revolutionized the field of image matting and given birth to multiple new techniques, including automatic, interactive, and referring image matting. This paper presents a comprehensive review of recent advancements in image matting in the era of deep learning. We focus on two fundamental sub-tasks: auxiliary input-based image matting, which involves user-defined input to predict the alpha matte, and automatic image matting, which generates results without any manual intervention. We systematically review the existing methods for these two tasks according to their task settings and network structures and provide a summary of their advantages and disadvantages. Furthermore, we introduce the commonly used image matting datasets and evaluate the performance of representative matting methods both quantitatively and qualitatively. Finally, we discuss relevant applications of image matting and highlight existing challenges and potential opportunities for future research. We also maintain a public repository to track the rapid development of deep image matting at https://github.com/JizhiziLi/matting-survey.

研究动机与目标

• 系统性回顾基于深度学习的图像抠图最新进展，重点关注基于辅助输入与自动抠图方法。
• 分析并比较最先进的模型在基于辅助输入与自动抠图设置下的架构设计、优势与局限性。
• 利用定量与定性指标，在标准基准上评估代表性方法的性能。
• 识别在泛化能力、计算效率与数据标注方面的关键挑战，并探索未来研究方向。
• 维护一个公开仓库，持续追踪深度图像抠图研究的快速演进，地址为 https://github.com/JizhiziLi/matting-survey

提出的方法

• 将深度图像抠图方法分为两大类：基于辅助输入（使用抠图、草图、点击或文本）的方法与自动抠图（无需用户输入）的方法。
• 回顾网络架构，包括单阶段、多流、带全局引导的一阶段、序列分割-抠图以及并行多任务网络。
• 分析Transformer与视觉Transformer结构的集成，以建模长距离依赖关系并提升特征表示能力。
• 在DAVIS、COCO-ImageMatte等多个公开数据集上评估性能，使用MAE与MSE等指标。
• 比较计算效率与模型复杂度，以评估其在实时工业应用中的适用性。
• 提出未来研究方向，包括弱监督学习、合成图像与真实图像之间的域自适应，以及结合语言、语音或3D NeRF的多模态抠图。

实验结果

研究问题

• RQ1 不同类型的辅助输入（如抠图、草图、文本）如何影响深度图像抠图模型的性能与鲁棒性？
• RQ2 在自动图像抠图中，单阶段、多流与多任务网络在架构上的优势与局限性是什么？
• RQ3 使用合成数据集并引入合成伪影的模型，在真实自然图像上的泛化能力在多大程度上受到限制？
• RQ4 弱监督或自监督学习技术如何减少对昂贵人工标注alpha抠图的依赖？
• RQ5 扩散模型与多模态输入（如文本、注视、3D）在推动可控且可解释的图像抠图方面可能发挥什么作用？

主要发现

• 在使用色度键或混合技术生成的合成数据集上训练的模型，通常在真实自然图像上表现不佳，原因在于合成伪影与域偏移。
• 仅在单一类别（如仅人像）上训练的模型在其他物体类别上泛化能力差，凸显了构建多样化、多类别数据集的必要性。
• 基于Transformer的架构通过捕捉长距离上下文与依赖关系，显著提升了性能，尤其在复杂边界区域表现更优。
• 无需用户输入即可预测显著前景的自动抠图模型取得了具有竞争力的结果，但对物体类别与背景复杂度仍较敏感。
• 采用降维、特征复用与标记剪枝的轻量化架构在工业应用中实现实时部署方面展现出巨大潜力。
• 未来方法若能利用分割图或显著性图等弱监督信号，有望提升泛化能力并降低标注成本，同时具备迁移学习与预训练的潜力。