[论文解读] $F$, $B$, Alpha Matting

Marco Forte, François Pitié|arXiv (Cornell University)|Mar 17, 2020

Image Enhancement Techniques参考文献 34被引用 7

一句话总结

本文提出了一种低成本、端到端的深度学习方法，用于在图像抠图中联合预测 alpha 蒙版、前景和背景颜色，采用修改后的编码器-解码器架构，批量大小为1，并引入一种新型排除损失。该方法在 Adobe Composition-1k 和 alphamatting.com 基准测试中实现了最先进性能，且未增加计算或内存开销。

ABSTRACT

Cutting out an object and estimating its opacity mask, known as image matting, is a key task in many image editing applications. Deep learning approaches have made significant progress by adapting the encoder-decoder architecture of segmentation networks. However, most of the existing networks only predict the alpha matte and post-processing methods must then be used to recover the original foreground and background colours in the transparent regions. Recently, two methods have shown improved results by also estimating the foreground colours, but at a significant computational and memory cost. In this paper, we propose a low-cost modification to alpha matting networks to also predict the foreground and background colours. We study variations of the training regime and explore a wide range of existing and novel loss functions for the joint prediction. Our method achieves the state of the art performance on the Adobe Composition-1k dataset for alpha matte and composite colour quality. It is also the current best performing method on the alphamatting.com online evaluation.

研究动机与目标

• 解决现有深度学习抠图方法仅预测 alpha 蒙版的局限性，避免需要后处理恢复前景和背景颜色。
• 探索联合预测 alpha、前景和背景颜色对抠图质量与合成真实感的影响。
• 识别显著影响模型收敛与性能的训练策略选择，尤其是批量大小和归一化层的影响。
• 评估新型损失函数（包括排除损失）在提升前景和背景估计效果方面的有效性。

提出的方法

• 该方法基于语义分割网络的修改版编码器-解码器架构，扩展为输出三个结果：alpha 蒙版、前景颜色和背景颜色。
• 一项关键的训练创新是采用批量大小为1，作者证明这能显著提升收敛速度与最终性能。
• 模型通过组合损失函数进行训练：对 alpha 使用 L1 损失，对前景和背景颜色也使用 L1 损失，以及一种新型排除损失，用于惩罚重叠或错误的颜色预测。
• 排除损失确保预测的前景和背景颜色在透明区域不相互干扰，从而提升合成的真实感。
• 一种融合机制将预测的 alpha 与预测的前景和背景颜色结合，生成逼真的合成图像。
• 在测试阶段应用测试时增强（TTA），以进一步提升泛化能力与基准测试表现。

实验结果

研究问题

• RQ1 与后处理方法相比，联合预测 alpha 蒙版、前景和背景颜色是否能提升抠图质量与合成真实感？
• RQ2 不同的训练策略（尤其是批量大小和归一化层）如何影响 alpha 抠图网络的收敛与性能？
• RQ3 能否通过轻量级、低成本的架构修改，在不增加推理成本的前提下实现联合预测 alpha、前景和背景颜色的最先进性能？
• RQ4 在防止颜色渗色和提升空间一致性方面，哪种损失函数对联合预测模型的训练最为有效？
• RQ5 排除损失如何在高透明度区域提升前景和背景颜色的估计质量？

主要发现

• 该方法在 Adobe Composition-1k 数据集上实现了最先进性能，SAD 为 26.4，MSE 为 5.4×10³，连通性为 21.5，优于先前方法。
• 在 alphamatting.com 基准测试中，该方法在总体平均排名中位列第一（6.7），连通性指标平均排名达 1.9，甚至超越了此前在该指标上表现优异的 Deep Image Matting。
• 使用批量大小为1被证明对收敛与性能至关重要，作者表明这本身即可解释文献中先前报告的训练失败现象。
• 排除损失显著改善了前景和背景颜色的估计，减少了颜色渗色现象，增强了合成图像的真实感。
• 联合预测前景和背景颜色，结合排除损失与融合机制，使连通性得分相比仅预测 alpha 的方法提升了 15%。
• 测试时增强（TTA）进一步提升了性能，使 SAD 降低至 25.8，连通性降低至 20.8，证实其在提升泛化能力方面的有效性。