[论文解读] Instance Segmentation based Semantic Matting for Compositing Applications

Guanqing Hu, James J. Clark|arXiv (Cornell University)|Apr 10, 2019

Image Enhancement Techniques参考文献 10被引用 6

一句话总结

本文提出了一种完全自动化的高保真图像合成方法，通过整合实例分割与图像抠图技术，生成无需用户交互的语义alpha抠图。利用Mask R-CNN进行实例检测，并采用基于反馈的trimap生成策略，该方法生成了精细化的、实例特定的抠图，其边界精度和多对象编辑的灵活性优于现有方法。

ABSTRACT

Image compositing is a key step in film making and image editing that aims to segment a foreground object and combine it with a new background. Automatic image compositing can be done easily in a studio using chroma-keying when the background is pure blue or green. However, image compositing in natural scenes with complex backgrounds remains a tedious task, requiring experienced artists to hand-segment. In order to achieve automatic compositing in natural scenes, we propose a fully automated method that integrates instance segmentation and image matting processes to generate high-quality semantic mattes that can be used for image editing task. Our approach can be seen both as a refinement of existing instance segmentation algorithms and as a fully automated semantic image matting method. It extends automatic image compositing techniques such as chroma-keying to scenes with complex natural backgrounds without the need for any kind of user interaction. The output of our approach can be considered as both refined instance segmentations and alpha mattes with semantic meanings. We provide experimental results which show improved performance results as compared to existing approaches.

研究动机与目标

• 实现自然场景中完全自动化的图像合成，以应对复杂背景对传统色键法的限制。
• 通过使用图像抠图技术改进现有深度学习模型中粗粒度分割掩码的边界质量。
• 通过从实例分割输出自动生成trimap，消除图像抠图中的用户交互。
• 生成保留实例级身份信息的语义alpha抠图，支持灵活的图像合成操作。
• 提升在运动模糊、透明区域以及同类别重叠对象等复杂情况下的性能。

提出的方法

• 该方法首先应用Mask R-CNN检测并分割各个对象实例，生成边界框和实例掩码。
• 基于实例掩码，采用基于反馈的trimap生成策略，在对象边界周围生成前景、背景和未知区域。
• 将生成的trimap与原始RGB图像输入深度图像抠图网络，以预测每个实例的alpha抠图。
• 抠图网络采用多阶段细化过程，通过迭代反馈提升对象边界处的抠图质量。
• 该方法利用实例分割提供的语义类别标签和空间位置信息，指导每个检测到对象的独立抠图生成。
• 最终输出为一组高质量、语义感知的alpha抠图，适用于与新背景进行合成。

实验结果

研究问题

• RQ1 能否利用实例分割自动为图像抠图生成trimap，而无需用户输入？
• RQ2 实例分割与抠图的集成相比独立的分割或抠图方法，在边界精度方面有何提升？
• RQ3 所提出的方法能否在包含多个同类别对象的复杂场景中保持个体实例的分离？
• RQ4 与现有的半自动或用户引导的抠图技术相比，该完全自动化方法的性能如何？
• RQ5 该方法在处理大面积透明区域或不熟悉物体类别时存在哪些局限性？

主要发现

• 所提方法在COCO数据集图像上的性能与当前最先进的语义软分割和谱系抠图方法相当，尤其在边界细节和运动模糊处理方面表现优异。
• 在图像4中，该方法正确识别出人物肩膀上的暗区为背景，而其他方法未能区分该区域。
• 在图像5中，该方法成功捕捉到右臂的运动模糊，而语义软分割和谱系抠图方法未能实现此效果。
• 在包含多个同类别实例的场景中（如多人），该方法保持了个体实例的分离，而仅依赖语义分割的方法则无法实现。
• 即使某一侧手部未被检测到，该方法仍能生成视觉上正确的合成结果，表明其对检测误差具有鲁棒性。
• 局限性包括对模糊或透明区域的错误抠图预测（如将草误判为消防栓边界的边界），以及在不熟悉物体类别上的性能下降。