[论文解读] TOM-Net: Learning Transparent Object Matting from a Single Image

Guanying Chen, Kai Han+1 more|arXiv (Cornell University)|Mar 13, 2018

Image Enhancement Techniques参考文献 19被引用 8

一句话总结

TOM-Net 是一种深度学习框架，通过使用多尺度编码器-解码器网络联合预测物体掩码、衰减掩码和折射流场，再通过残差优化网络进行细化，从而从单张图像中估计透明物体抠像。该方法在大规模合成数据集和真实世界基准上均实现了最先进性能，展示了出色的泛化能力，并可在一次前向传播中生成逼真的合成效果。

ABSTRACT

This paper addresses the problem of transparent object matting. Existing image matting approaches for transparent objects often require tedious capturing procedures and long processing time, which limit their practical use. In this paper, we first formulate transparent object matting as a refractive flow estimation problem. We then propose a deep learning framework, called TOM-Net, for learning the refractive flow. Our framework comprises two parts, namely a multi-scale encoder-decoder network for producing a coarse prediction, and a residual network for refinement. At test time, TOM-Net takes a single image as input, and outputs a matte (consisting of an object mask, an attenuation mask and a refractive flow field) in a fast feed-forward pass. As no off-the-shelf dataset is available for transparent object matting, we create a large-scale synthetic dataset consisting of 158K images of transparent objects rendered in front of images sampled from the Microsoft COCO dataset. We also collect a real dataset consisting of 876 samples using 14 transparent objects and 60 background images. Promising experimental results have been achieved on both synthetic and real data, which clearly demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决由于复杂光折射效应导致的单图像透明物体抠像问题，该问题高度病态。
• 开发一种深度学习框架，能够在无需多张图像或专用硬件的情况下，估计环境抠像——包括物体掩码、衰减掩码和折射流场。
• 构建大规模合成数据集和真实世界数据集，作为透明物体抠像任务的基准。
• 实现在图像编辑和影视制作中可实际部署的快速、前向传播推理。

提出的方法

• 将透明物体抠像建模为折射流场估计，以从单张输入图像中建模光折射效应。
• 设计 TOM-Net 为两阶段架构：首先使用多尺度编码器-解码器进行粗略预测，再通过残差网络进行优化。
• 使用包含 178K 张图像的合成数据集进行端到端训练，其中透明物体被渲染在 COCO 背景前。
• 使用包含 876 个样本的真实数据集（来自 14 种透明物体和 60 幅背景图像）评估模型泛化能力。
• 采用 L1 损失与感知损失相结合的方式优化模型，以保持结构一致性和视觉真实感。
• 实现单次前向传播推理，生成完整的抠像结果，用于在新背景上的合成。

实验结果

研究问题

• RQ1 深度神经网络能否从单张透明物体图像中准确估计环境抠像？
• RQ2 是否可行将透明物体抠像建模为折射流场估计，而非依赖多张图像或特殊图案？
• RQ3 在合成数据上训练的模型在真实世界透明物体上的泛化能力如何？
• RQ4 使用预测的抠像结果将物体重新合成到新背景上时，能否生成视觉上逼真的合成效果？

主要发现

• 在合成数据集上，TOM-Net 在玻璃类别上取得了 27.6 的 PSNR 和 0.95 的 SSIM，表明抠像预测具有高保真度。
• 在真实数据上，平均 PSNR 为 21.84，SSIM 为 0.890，对简单形状表现更好，复杂形状性能较低，原因在于存在不透明底面和锐利边缘。
• 用户研究结果显示，1380 个合成结果中有 827 个被判断为与真实照片无法区分，表明具有极强的视觉真实感。
• 尽管模型仅在单物体样本上进行训练，但对包含多个透明物体的图像也表现出良好泛化能力，证明了其鲁棒性与可迁移性。
• 通过准确估计折射流场，模型成功生成了逼真的折射效果，实现了在新背景上的高质量合成。
• 所提出的合成数据集和真实数据集可作为未来透明物体抠像研究的有效基准。