[论文解读] Disentangled Image Matting

Shaofan Cai, Xiaoshuai Zhang+7 more|arXiv (Cornell University)|Sep 10, 2019

Image Enhancement Techniques参考文献 39被引用 8

一句话总结

该论文提出 AdaMatting，一种用于图像抠图的新型深度学习框架，通过将 alpha matte 预测与 trimap 优化解耦为多任务学习架构，实现了创新。通过利用子像素卷积、全局卷积以及动态多任务损失，该方法在合成数据集（Composition-1k）和真实世界基准上均取得了最先进性能，梯度损失降低 16.89，MSE 降低 0.0102。

ABSTRACT

Most previous image matting methods require a roughly-specificed trimap as input, and estimate fractional alpha values for all pixels that are in the unknown region of the trimap. In this paper, we argue that directly estimating the alpha matte from a coarse trimap is a major limitation of previous methods, as this practice tries to address two difficult and inherently different problems at the same time: identifying true blending pixels inside the trimap region, and estimate accurate alpha values for them. We propose AdaMatting, a new end-to-end matting framework that disentangles this problem into two sub-tasks: trimap adaptation and alpha estimation. Trimap adaptation is a pixel-wise classification problem that infers the global structure of the input image by identifying definite foreground, background, and semi-transparent image regions. Alpha estimation is a regression problem that calculates the opacity value of each blended pixel. Our method separately handles these two sub-tasks within a single deep convolutional neural network (CNN). Extensive experiments show that AdaMatting has additional structure awareness and trimap fault-tolerance. Our method achieves the state-of-the-art performance on Adobe Composition-1k dataset both qualitatively and quantitatively. It is also the current best-performing method on the alphamatting.com online evaluation for all commonly-used metrics.

研究动机与目标

• 为解决图像抠图中低质量 trimap 输入的挑战，通过联合学习 alpha 预测与 trimap 优化。
• 提升在具有精细结构的复杂场景中 alpha matte 预测的鲁棒性与细节保真度。
• 设计一种解耦 alpha 估计与 trimap 适应的多任务网络架构，以实现更优的特征学习。
• 在训练过程中动态平衡多个损失组件，以提升泛化能力与收敛性。
• 在合成与真实世界图像抠图基准上均实现最先进性能。

提出的方法

• 采用多任务自编码器架构，共享编码器与两个解码器，分别用于 alpha 预测与 trimap 优化。
• 引入子像素卷积，以在上采样过程中保留空间细节，提升高分辨率 alpha matte 预测质量。
• 使用全局卷积，捕捉图像中长距离上下文依赖，增强推理能力。
• 应用传播单元（PU），利用空间上下文与边缘感知平滑，优化 alpha matte 预测结果。
• 实现动态加权多任务损失，训练过程中自动调整梯度损失、SAD 与 MSE 损失的重要性。
• 采用端到端训练策略，结合 L1 基损失与自适应损失加权，损失权重通过反向传播学习。

实验结果

研究问题

• RQ1 联合学习 alpha 预测与 trimap 优化是否能提升在低质量或噪声 trimap 上的抠图性能？
• RQ2 子像素卷积与全局卷积在保留 alpha matte 预测中精细细节方面有何贡献？
• RQ3 在多任务训练中采用动态损失加权是否能带来比固定加权更好的收敛性与性能？
• RQ4 与端到端抠图模型相比，该解耦架构是否在真实世界图像上具有更强泛化能力？
• RQ5 各组件（SP、GC、PU）对整体性能提升的相对贡献如何？

主要发现

• 完整版 AdaMatting 模型在 Composition-1k 基准上取得 16.89 的梯度损失、41.70 的 SAD 与 0.0102 的 MSE，优于所有消融变体。
• 移除传播单元（PU）导致性能下降最大，梯度损失上升至 17.86，SAD 上升至 44.13，表明 PU 在边缘优化中起关键作用。
• 消融实验表明，子像素卷积（SP）与全局卷积（GC）各自贡献显著，完整模型相比 w/o-SP-w/o-GC-w/o-PU 变体，梯度损失降低 8.29。
• 动态加权损失（AdaMatting-D）取得 16.89 的梯度损失，优于固定加权版本（AdaMatting-F，18.35），证明自适应损失平衡的优势。
• 在真实世界图像上，AdaMatting 在背景替换对比中生成更自然、更鲁棒的前景提取结果，优于 DIM 与 Information Flow。
• 训练过程中损失权重 σ₁ 与 σ₂ 稳定收敛至约 0.0995 与 0.0878，表明任务重要性实现了有效自动平衡。