[论文解读] Reversible Recursive Instance-level Object Segmentation

Xiaodan Liang, Yunchao Wei+5 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Neural Network Applications参考文献 31被引用 11

一句话总结

本文提出 R2-IOS，一种用于实例级目标分割的可逆递归框架，通过迭代自适应优化，联合优化目标提议细化与实例分割。通过使用可逆门机制动态确定每个提议的最优细化迭代次数，并采用实例感知去噪自编码器以分离主要目标，R2-IOS 在 PASCAL VOC 2012 数据集上实现了 66.7% 的 AP^r（IoU 为 0.5），显著优于先前方法。

ABSTRACT

In this work, we propose a novel Reversible Recursive Instance-level Object Segmentation (R2-IOS) framework to address the challenging instance-level object segmentation task. R2-IOS consists of a reversible proposal refinement sub-network that predicts bounding box offsets for refining the object proposal locations, and an instance-level segmentation sub-network that generates the foreground mask of the dominant object instance in each proposal. By being recursive, R2-IOS iteratively optimizes the two sub-networks during joint training, in which the refined object proposals and improved segmentation predictions are alternately fed into each other to progressively increase the network capabilities. By being reversible, the proposal refinement sub-network adaptively determines an optimal number of refinement iterations required for each proposal during both training and testing. Furthermore, to handle multiple overlapped instances within a proposal, an instance-aware denoising autoencoder is introduced into the segmentation sub-network to distinguish the dominant object from other distracting instances. Extensive experiments on the challenging PASCAL VOC 2012 benchmark well demonstrate the superiority of R2-IOS over other state-of-the-art methods. In particular, the $ ext{AP}^r$ over $20$ classes at $0.5$ IoU achieves $66.7\%$, which significantly outperforms the results of $58.7\%$ by PFN~\cite{PFN} and $46.3\%$ by~\cite{liu2015multi}.

研究动机与目标

• 解决实例级目标分割中目标尺度、姿态和遮挡差异带来的挑战。
• 克服固定迭代次数提议细化的局限性，实现自适应、提议特定的细化深度。
• 通过联合训练提议细化与实例分割网络并引入相互监督，提升分割精度。
• 在包含多个重叠目标的提议中区分主导目标实例。
• 开发一种可逆机制，在训练与推理过程中均能确定每个提议的最优细化迭代次数。

提出的方法

• R2-IOS 采用递归架构，在多个迭代中交替细化目标提议并优化分割掩码。
• 可逆提议细化子网络预测边界框偏移量与置信度分数，迭代次数由学习得到的门机制动态决定。
• 实例级分割子网络生成的分割感知特征用于更新提议细化网络，实现相互优化。
• 在分割子网络中集成实例感知去噪自编码器，以建模全局上下文并分离每个提议中的主导目标实例。
• 框架使用 ROI 池化处理不同尺度的提议，并将两个子网络的特征拼接以实现迭代细化。
• 可逆门机制允许对每个提议回溯至最优迭代步骤，确保效率与精度。

实验结果

研究问题

• RQ1 当与分割网络联合训练时，对目标提议进行递归迭代细化是否能提升实例级分割性能？
• RQ2 可逆机制是否能动态确定每个提议的最优细化迭代次数，避免过度或不足细化？
• RQ3 通过实例感知自编码器引入全局上下文建模，是否能增强在密集提议中对主导目标的分割性能？
• RQ4 在提议细化中使用分割感知特征，是否能显著提升定位精度？
• RQ5 与固定迭代基线相比，自适应迭代调度是否能带来更好的泛化能力与性能表现？

主要发现

• R2-IOS 在 PASCAL VOC 2012 上实现了 66.7% 的 AP^r（IoU 为 0.5），显著优于 PFN（58.7%）与先前方法（46.3%）。
• 与固定迭代基线（R2-IOS recursive 4）相比，可逆门机制使性能提升 1.5%，证明了自适应迭代调度的优势。
• 移除实例感知去噪自编码器后性能下降超过 12.5%，证明其在分离重叠提议中主导实例的关键作用。
• 使用分割感知特征在提议细化与分割精度上均带来可测量的提升，表明相互监督的有效性。
• 定性结果表明，随着迭代次数增加，性能逐步提升，仅在足够多的递归细化后才能完整恢复目标掩码。
• 模型在经过多次细化步骤后，能够成功分割被遮挡或部分可见的目标，如杂乱场景中的沙发或人体。