[论文解读] Indices Matter: Learning to Index for Deep Image Matting

Hao Lü, Yutong Dai+2 more|arXiv (Cornell University)|Aug 2, 2019

Image Enhancement Techniques参考文献 47被引用 12

一句话总结

本文提出IndexNet，一种可学习的索引引导上采样框架，通过动态预测特征图上采样的索引，取代双线性插值或最大池化反向等固定算子，从而提升深度图像抠图性能。该方法在使用更小的MobileNetv2模型、更少数据和更快推理速度的前提下，在Composition-1k数据集上相较基于VGG-16的深度抠图基线模型实现了16.1%的性能提升。

ABSTRACT

We show that existing upsampling operators can be unified with the notion of the index function. This notion is inspired by an observation in the decoding process of deep image matting where indices-guided unpooling can recover boundary details much better than other upsampling operators such as bilinear interpolation. By looking at the indices as a function of the feature map, we introduce the concept of learning to index, and present a novel index-guided encoder-decoder framework where indices are self-learned adaptively from data and are used to guide the pooling and upsampling operators, without the need of supervision. At the core of this framework is a flexible network module, termed IndexNet, which dynamically predicts indices given an input. Due to its flexibility, IndexNet can be used as a plug-in applying to any off-the-shelf convolutional networks that have coupled downsampling and upsampling stages. We demonstrate the effectiveness of IndexNet on the task of natural image matting where the quality of learned indices can be visually observed from predicted alpha mattes. Results on the Composition-1k matting dataset show that our model built on MobileNetv2 exhibits at least $16.1\%$ improvement over the seminal VGG-16 based deep matting baseline, with less training data and lower model capacity. Code and models has been made available at: https://tinyurl.com/IndexNetV1

研究动机与目标

• 解决固定上采样算子在边界敏感任务（如图像抠图）中的局限性。
• 探究学习到的索引是否能超越传统上采样方法（如双线性插值或最大池化反向）。
• 开发一种灵活的即插即用模块——IndexNet，从数据中端到端学习索引函数，无需监督。
• 将各种上采样算子统一为索引函数的概念，实现动态、上下文感知的特征重建。
• 证明索引引导框架在抠图之外的泛化能力，涵盖分类、深度估计和场景理解等任务。

提出的方法

• 将上采样算子统一视为索引函数，其中索引用于指导特征重建。
• 提出索引池化（IP）和索引上采样（IU）算子，使用动态预测的索引替代固定规则。
• 设计IndexNet，一种全卷积神经网络，根据输入特征图预测索引，端到端训练且无需监督。
• 采用灵活的架构设计，使IndexNet可适配不同任务，并可无缝集成到任意具有成对下采样与上采样阶段的编码器-解码器网络中。
• 在IndexNet中采用多尺度、非线性且上下文感知的设计，以捕捉复杂模式与边界结构。
• 将该框架应用于图像抠图、分类、深度估计和场景理解任务，均展现出一致的性能提升。

实验结果

研究问题

• RQ1 在边界敏感任务中，学习到的索引函数是否能超越双线性插值和最大池化反向等固定上采样算子？
• RQ2 与固定索引相比，动态预测的索引在保留细节和结构模式方面表现如何？
• RQ3 像IndexNet这样的即插即用模块在无需架构重构的前提下，能在多大程度上提升多样化密集预测任务的性能？
• RQ4 学习到的索引自动捕捉了哪些结构和纹理模式？这些模式与图像语义有何关联？
• RQ5 索引引导框架是否能泛化到抠图之外的其他视觉任务，如分类和深度估计？

主要发现

• 基于IndexNet的模型在Composition-1k数据集上相较基于VGG-16的深度抠图基线模型实现了16.1%的性能提升。
• 基于MobileNetv2构建的模型在使用显著更少的训练数据和更小的模型容量的前提下，性能超越了先前的SOTA模型。
• 在alphamatting.com在线基准测试中，该方法在梯度误差指标上排名第一，且在发丝、纹理等细粒度细节上展现出更优的定性结果。
• 学习到的索引可视化结果表明，它们能自动捕捉复杂模式，如毛发、气泡和边缘结构，表明特征重建具有高度有效性。
• IndexNet在多个任务中均一致提升性能，包括图像分类（CIFAR-10/100）、单目深度估计（NYUDv2）和场景理解（SUN-RGBD）。
• 该框架表明，学习索引函数是提升深度网络中上采样性能的通用且有效策略，尤其适用于边界敏感的应用。