[论文解读] Hierarchical Opacity Propagation for Image Matting

Yaoyi Li, Qingyao Xu+1 more|arXiv (Cornell University)|Apr 7, 2020

Image Enhancement Techniques参考文献 49被引用 12

一句话总结

本文提出层级透明度传播（HOP），一种新型深度学习框架，用于图像抠图，通过基于全局和局部注意力的传播模块，显式建模多尺度特征图间的透明度信息传递。通过整合与尺度无关的位置编码和随机插值增强技术，HOP在Composition-1k和alphamatting.com基准测试中均达到最先进性能，显著提升了准确率与鲁棒性。

ABSTRACT

Natural image matting is a fundamental problem in computational photography and computer vision. Deep neural networks have seen the surge of successful methods in natural image matting in recent years. In contrast to traditional propagation-based matting methods, some top-tier deep image matting approaches tend to perform propagation in the neural network implicitly. A novel structure for more direct alpha matte propagation between pixels is in demand. To this end, this paper presents a hierarchical opacity propagation (HOP) matting method, where the opacity information is propagated in the neighborhood of each point at different semantic levels. The hierarchical structure is based on one global and multiple local propagation blocks. With the HOP structure, every feature point pair in high-resolution feature maps will be connected based on the appearance of input image. We further propose a scale-insensitive positional encoding tailored for image matting to deal with the unfixed size of input image and introduce the random interpolation augmentation into image matting. Extensive experiments and ablation study show that HOP matting is capable of outperforming state-of-the-art matting methods.

研究动机与目标

• 为解决现有基于深度学习的抠图方法中透明度传播机制隐式建模的局限性，提出在语义层级间显式、结构化的传播机制。
• 通过专用的HOP模块实现长距离与局部上下文感知的透明度传递，提升高分辨率图像的抠图精度。
• 通过与尺度无关的位置编码机制，有效处理可变尺寸的输入图像。
• 通过新颖的随机插值数据增强策略，提升模型泛化能力与鲁棒性。
• 通过消融研究与基准测试，验证层级传播、位置编码与数据增强的有效性。

提出的方法

• 该方法采用双分支网络结构，包含外观编码器与HOP解码器，通过全局与局部HOP模块在多尺度特征图间传播透明度特征。
• 每个HOP模块采用双源注意力机制：查询来自外观特征，键与值来自透明度特征，实现外观感知的透明度传播。
• 全局HOP模块从低分辨率、语义丰富的特征中聚合长距离上下文，用于引导初始alpha预测。
• 局部HOP模块通过局部邻域注意力机制传播透明度，优化高分辨率特征，减少模糊伪影。
• 引入基于相对位置编码的与尺度无关的位置编码，以在不同输入尺寸下保持性能稳定。
• 训练阶段应用随机插值增强，模拟多样化的图像尺度，提升模型鲁棒性。

实验结果

研究问题

• RQ1 与隐式传播或自注意力机制相比，跨语义层级的显式层级透明度传播是否能提升图像抠图性能？
• RQ2 与尺度无关的位置编码在可变尺寸输入下的抠图精度方面有何影响？
• RQ3 随机插值增强在多大程度上提升了深度图像抠图模型的泛化能力？
• RQ4 全局与局部HOP模块在最终alpha抠图质量方面分别发挥何种作用？
• RQ5 各组件（HOP模块、位置编码、增强策略）对整体性能提升的相对贡献如何？

主要发现

• 在Composition-1k测试集上，HOP抠图在全部组件启用时达到SAD 28.12与MSE 5.8 × 10⁻³，优于先前最先进方法。
• 消融研究显示，移除任一HOP模块均导致性能下降，完整HOP结构（全局+三个局部模块）取得最优SAD（34.82）与MSE（8.99）。
• 结合与尺度无关的位置编码、trimap嵌入与随机插值增强，可使SAD从34.82降至28.12，MSE从9.0降至5.8 × 10⁻³。
• 梯度图可视化表明，HOP模型关注全局相似外观区域，而无HOP的模型仅聚焦局部区域，验证了层级传播机制的有效性。
• 在alphamatting.com基准测试中，HOP抠图在所有指标与trimap类型下均取得最佳平均排名，证实其鲁棒性与优越性。
• 该方法仅需少于11GB GPU显存，可在不降采样的前提下实现高分辨率图像推理，优于Context-aware Matting与Deep Matting。