[论文解读] Boosting General Trimap-free Matting in the Real-World Image

Leo Shan Wenzhang Zhou Grace Zhao|arXiv (Cornell University)|May 28, 2024

Textile materials and evaluationsMaterials Science被引用 3

一句话总结

本文提出 MFC-Net，一种从粗到精的无三元图抠图网络，通过显著性定义的前景和多特征融合，提升前景完整性和泛化能力。该方法在数据生成中引入图像和谐性，并建立了 Real-19k 数据集，在合成图像和真实世界图像上均达到最先进性能，Real-19k 上的 SAD 为 35.4，MSE 为 9.4。

ABSTRACT

Image matting aims to obtain an alpha matte that separates foreground objects from the background accurately. Recently, trimap-free matting has been well studied because it requires only the original image without any extra input. Such methods usually extract a rough foreground by itself to take place trimap as further guidance. However, the definition of 'foreground' lacks a unified standard and thus ambiguities arise. Besides, the extracted foreground is sometimes incomplete due to inadequate network design. Most importantly, there is not a large-scale real-world matting dataset, and current trimap-free methods trained with synthetic images suffer from large domain shift problems in practice. In this paper, we define the salient object as foreground, which is consistent with human cognition and annotations of the current matting dataset. Meanwhile, data and technologies in salient object detection can be transferred to matting in a breeze. To obtain a more accurate and complete alpha matte, we propose a network called extbf{M}ulti- extbf{F}eature fusion-based extbf{C}oarse-to-fine Network extbf{(MFC-Net)}, which fully integrates multiple features for an accurate and complete alpha matte. Furthermore, we introduce image harmony in data composition to bridge the gap between synthetic and real images. More importantly, we establish the largest general matting dataset extbf{(Real-19k)} in the real world to date. Experiments show that our method is significantly effective on both synthetic and real-world images, and the performance in the real-world dataset is far better than existing matting-free methods. Our code and data will be released soon.

研究动机与目标

• 通过将前景定义为显著性物体，解决无三元图抠图中前景定义的模糊性，使其与人类认知和现有抠图数据集保持一致。
• 通过使用低级、高级和全局上下文特征的多特征融合，构建从粗到精的网络，提升前景完整性和 alpha 抠图精度。
• 通过在数据生成中引入图像和谐性，减少合成图像与真实世界图像之间的域偏移。
• 建立大规模真实世界抠图基准（Real-19k），以实现对无三元图方法的可靠评估。
• 通过方法论与数据创新的整合，在合成图像和真实世界图像的抠图基准上均实现最先进性能。

提出的方法

• 利用显著性检测将前景定义为显著性物体，确保与人类感知和现有数据集标注的一致性。
• 提出 MFC-Net，一种从粗到精的网络，其粗粒度模块通过低分辨率特征提取提升前景完整性并减少误检。
• 引入交错注意力（IA）模块，通过可学习滤波器而非简单拼接或相加，融合低级外观、高级语义和全局上下文特征。
• 引入全局上下文特征（GCF）模块，对多样化图像中的前景-背景差异进行归一化，提升泛化能力。
• 在合成数据生成过程中应用图像和谐性，使合成图像的纹理和亮度与真实世界图像对齐，降低域偏移。
• 采用多尺度训练策略，将图像下采样至 512×512，作为全局上下文与边缘细节保留之间的最优权衡。

实验结果

研究问题

• RQ1 如何为无三元图抠图建立一致且与认知相符的前景定义，以减少模型学习中的模糊性？
• RQ2 通过注意力机制实现的多层次特征融合在多大程度上能提升前景完整性和 alpha 抠图精度？
• RQ3 在数据生成中引入图像和谐性是否能显著减少域偏移，并提升抠图模型在真实世界中的泛化能力？
• RQ4 在从粗到精的抠图网络中，分辨率与特征表示之间最优权衡为何？
• RQ5 像 Real-19k 这样大规模的真实世界抠图数据集如何提升无三元图抠图方法的评估与基准测试？

主要发现

• 所提出的 MFC-Net 在 Real-19k 数据集上实现最先进性能，SAD 为 35.4，MSE 为 9.4，Grad 为 19.6，Conn 为 33.5。
• 消融实验表明，移除交错注意力（IA）模块会使 MSE 增加 2.2，移除全局上下文特征（GCF）模块会使 MSE 增加 6.8，证明二者具有关键作用。
• 图像和谐性提升泛化能力：当与 512×512 下采样结合时，MSE 从 15.5 降至 9.4，显示出显著的域适应增益。
• 粗粒度模块采用 1/4 下采样（512×512）达到最佳平衡，因全分辨率训练会导致局部特征学习不佳，性能下降。
• Real-19k 数据集包含 19,000 张真实世界图像，可实现对真实世界抠图泛化能力的可靠评估，优于现有基准。
• 该方法在真实世界图像上显著优于先前的无三元图方法（如 LFM 和 MGMatting），SAD 和 MSE 均降低 30% 以上。