[论文解读] Iterative Instance Segmentation

Ke Li, Bharath Hariharan+1 more|arXiv (Cornell University)|Nov 26, 2015

Advanced Neural Network Applications参考文献 31被引用 18

一句话总结

本文提出了一种用于实例分割的迭代深度学习框架，该框架从数据中隐式学习形状、连通性和轮廓平滑性先验，而无需显式结构约束。通过在多个阶段对预测结果进行优化，该方法在 PASCAL VOC 2012 数据集上实现了最先进性能，即在 50% 重叠率下 mAP^r 为 63.6%，在 70% 重叠率下为 43.3%。

ABSTRACT

Existing methods for pixel-wise labelling tasks generally disregard the underlying structure of labellings, often leading to predictions that are visually implausible. While incorporating structure into the model should improve prediction quality, doing so is challenging - manually specifying the form of structural constraints may be impractical and inference often becomes intractable even if structural constraints are given. We sidestep this problem by reducing structured prediction to a sequence of unconstrained prediction problems and demonstrate that this approach is capable of automatically discovering priors on shape, contiguity of region predictions and smoothness of region contours from data without any a priori specification. On the instance segmentation task, this method outperforms the state-of-the-art, achieving a mean $\mathrm{AP}^{r}$ of 63.6% at 50% overlap and 43.3% at 70% overlap.

研究动机与目标

• 为解决现有像素级标注方法忽略结构约束的问题，避免产生视觉上不合理的预测结果。
• 自动从数据中发现形状先验、区域连通性以及轮廓平滑性，而无需人工指定结构形式。
• 通过迭代优化预测结果来学习隐式结构先验，从而提高实例分割的准确性。
• 证明迭代预测能够隐式学习复杂、高层级的线索（如形状），而无需显式建模高阶势函数。
• 验证该方法在基于类别上下文信息下，能够从模糊输入中“幻觉”生成合理物体形状的能力。

提出的方法

• 该方法将实例分割分解为一系列无约束的预测步骤，每一步均对前序步骤的错误进行校正。
• 使用深度神经网络（超列网络）对物体提议生成初始分割预测。
• 通过将当前预测结果和输入图像重新输入网络，实现迭代优化，从而在后续步骤中生成更优的预测。
• 网络采用端到端训练方式，以最小化优化后预测结果与真实掩码之间的差异。
• 通过多阶段误差校正，该迭代过程隐式学习了形状、连通性和平滑性等结构先验。
• 在 PASCAL VOC 2012 上使用标准实例分割指标进行评估，包括 50% 和 70% IoU 阈值下的 AP^r。

实验结果

研究问题

• RQ1 迭代预测是否能在不显式建模约束的情况下，隐式学习形状和轮廓平滑性等结构先验？
• RQ2 迭代优化是否能超越标准的一次性预测方法，显著提升实例分割性能？
• RQ3 模型是否能基于类别标签，从模糊的图像块中“幻觉”生成合理的物体形状？
• RQ4 该方法在已有检测结果已较准确的情况下，能将预测性能提升到何种程度？
• RQ5 该方法在物体定位和外观存在变化时是否具备鲁棒性，特别是在存在多个实例的密集场景中？

主要发现

• 在 PASCAL VOC 2012 验证集上，该方法在 50% IoU 重叠率下的 mAP^r 达到 63.6%，在 70% 重叠率下为 43.3%，优于当前最先进方法。
• 对于基线超列网络已达到约 75% 重叠率的检测结果，该方法在许多情况下可将重叠率提升至 90% 以上，展现出强大的优化能力。
• 在 76% 的检测结果中，使用迭代方法后与真实掩码的重叠率相比基线方法有所提升，而仅 15.6% 的检测结果出现性能下降。
• 即使输入图像块缺乏对应视觉特征，模型仍能基于类别标签成功“幻觉”生成合理物体形状，如鸟的翅膀、马的腿和自行车车架等。
• 该迭代框架能够自动学习并应用形状、区域连通性及轮廓平滑性等先验，而无需对这些属性进行显式监督。
• 结果表明，通过多轮迭代中的误差校正，可隐式捕捉高层级结构约束，从而实现更符合视觉直觉且更精确的实例分割。