[论文解读] High-Resolution Deep Image Matting

Haichao Yu, Ning Xu+3 more|arXiv (Cornell University)|Sep 14, 2020

Image Enhancement Techniques被引用 7

一句话总结

该论文提出HDMatt，一种用于高分辨率图像抠图的新型深度学习框架，采用基于图像块的推理策略，并引入跨块上下文模块（CPC）以建模块间长距离上下文依赖关系。通过引入基于Trimap的非局部（TGNL）操作，HDMatt能有效在相关图像块之间传播信息，在Adobe Image Matting和AlphaMatting基准测试中实现最先进性能，并在真实世界5K×5K图像上生成高保真结果。

ABSTRACT

Image matting is a key technique for image and video editing and composition. Conventionally, deep learning approaches take the whole input image and an associated trimap to infer the alpha matte using convolutional neural networks. Such approaches set state-of-the-arts in image matting; however, they may fail in real-world matting applications due to hardware limitations, since real-world input images for matting are mostly of very high resolution. In this paper, we propose HDMatt, a first deep learning based image matting approach for high-resolution inputs. More concretely, HDMatt runs matting in a patch-based crop-and-stitch manner for high-resolution inputs with a novel module design to address the contextual dependency and consistency issues between different patches. Compared with vanilla patch-based inference which computes each patch independently, we explicitly model the cross-patch contextual dependency with a newly-proposed Cross-Patch Contextual module (CPC) guided by the given trimap. Extensive experiments demonstrate the effectiveness of the proposed method and its necessity for high-resolution inputs. Our HDMatt approach also sets new state-of-the-art performance on Adobe Image Matting and AlphaMatting benchmarks and produce impressive visual results on more real-world high-resolution images.

研究动机与目标

• 解决在GPU内存受限等硬件约束下高分辨率（HR）图像抠图的挑战。
• 克服现有深度学习方法因需处理整幅图像而导致在高分辨率输入下失效的局限性。
• 解决先前基于图像块方法的两个关键缺陷：下采样导致的细节丢失以及图像块间的不一致性。
• 通过建模图像块之间的长距离上下文依赖关系，实现在真实世界高分辨率图像（如5000×5000）上的实用且高质量抠图。
• 提出一种可学习的、基于Trimap引导的机制，以增强跨图像块的特征传播，从而提升alpha抠图估计的准确性。

提出的方法

• 采用基于图像块的推理策略：将高分辨率输入图像裁剪为较小图像块进行处理，避免GPU内存溢出。
• 提出跨图像块上下文（CPC）模块，显式建模非相邻图像块之间的长距离上下文依赖关系。
• 在CPC模块中设计基于Trimap的非局部（TGNL）操作，利用Trimap中的像素级标签计算图像块间的相关性。
• 对于每个查询图像块，根据特征空间中的相似性选择K个上下文图像块，并使用TGNL聚合这些图像块的特征，同时受前景、背景和未知区域标签的引导。
• 采用类似U-Net的编码器-解码器主干网络，并结合CPC模块，为每个图像块预测alpha抠图，随后通过拼接策略重建全分辨率抠图。
• 利用Trimap引导注意力计算：查询图像块中的未知区域像素与参考图像块中对应区域（前景/背景/未知）进行比较，实现有针对性的信息传播。

实验结果

研究问题

• RQ1 在硬件内存受限条件下，基于深度学习的图像抠图方法是否能在高分辨率图像（如5000×5000）上实现高质量结果？
• RQ2 如何有效建模跨图像块的上下文依赖关系，以在基于图像块的抠图中保持一致性和细节保真度？
• RQ3 使用基于Trimap的注意力机制对远距离图像块之间的特征聚合有何影响？
• RQ4 与简单的图像块划分和下采样策略相比，所提方法在视觉质量与定量指标上的表现如何？
• RQ5 模型性能在图像块大小和上下文图像块数量变化时的鲁棒性如何？

主要发现

• HDMatt在Adobe Image Matting（AIM）基准测试中实现新的最先进性能，SAD为32.2，优于先前方法。
• 在AlphaMatting基准测试中，HDMatt的SAD为32.2，MSE为6.9×10⁻³，展现出优越的定量结果。
• 消融实验表明，结合TGNL操作的CPC模块相比基线模型将SAD降低8.3分（41.1 → 33.5），证明其有效性。
• 仅使用K=3个上下文图像块即可达到近似最优性能（SAD 32.8），表明该方法在上下文有限时仍具备鲁棒性与高效性。
• 在真实世界高分辨率图像上的视觉结果表明，HDMatt能有效保留细节并避免图像块间的不一致性，而下采样或简单图像块划分方法则无法做到。
• 注意力可视化结果证实，模型能够关注远距离且语义相似的图像块，展示了超越局部感受野的长距离上下文理解能力。