[论文解读] Amodal Segmentation Based on Visible Region Segmentation and Shape Prior

Yuting Xiao, Yanyu Xu+4 more|arXiv (Cornell University)|Dec 10, 2020

Advanced Neural Network Applications参考文献 41被引用 6

一句话总结

该论文提出了一种新颖的无模态分割框架，通过利用可见区域特征和类别特定的形状先验来模拟人类感知，以推断被遮挡的物体区域。通过使用跨任务注意力机制来优化可见掩码和无模态掩码，并利用学习到的形状先验码本进行优化和后处理，该方法在三个数据集上实现了最先进性能，展现出对不同遮挡情况的鲁棒性。

ABSTRACT

Almost all existing amodal segmentation methods make the inferences of occluded regions by using features corresponding to the whole image. This is against the human's amodal perception, where human uses the visible part and the shape prior knowledge of the target to infer the occluded region. To mimic the behavior of human and solve the ambiguity in the learning, we propose a framework, it firstly estimates a coarse visible mask and a coarse amodal mask. Then based on the coarse prediction, our model infers the amodal mask by concentrating on the visible region and utilizing the shape prior in the memory. In this way, features corresponding to background and occlusion can be suppressed for amodal mask estimation. Consequently, the amodal mask would not be affected by what the occlusion is given the same visible regions. The leverage of shape prior makes the amodal mask estimation more robust and reasonable. Our proposed model is evaluated on three datasets. Experiments show that our proposed model outperforms existing state-of-the-art methods. The visualization of shape prior indicates that the category-specific feature in the codebook has certain interpretability.

研究动机与目标

• 解决现有无模态分割方法依赖整体图像特征所带来的模糊性问题，此类方法在不同遮挡条件下可能导致不一致的预测结果。
• 通过聚焦于可见区域并利用形状先验知识来推断不可见部分，模拟类人无模态感知。
• 通过注意力机制和形状先验解耦背景与遮挡影响，提升无模态掩码估计的鲁棒性和准确性。
• 通过学习到的无模态掩码嵌入码本，首次将形状先验以新颖方式应用于无模态分割的优化与后处理。

提出的方法

• 该框架首先使用带有专用无模态和可见掩码头的Mask R-CNN主干网络，预测粗粒度的无模态和可见掩码。
• 跨任务注意力机制将粗粒度无模态掩码作为注意力图，用于优化可见掩码预测，聚焦于可见区域特征，同时抑制背景和遮挡影响。
• 重分类正则化器使用可见区域特征而非全图特征进行分类，从而减少因遮挡导致的误分类。
• 通过K-Means聚类对无模态真实标签掩码嵌入进行聚类，构建形状先验码本，以存储类别特定的形状模式。
• 利用可见区域特征和形状先验码本对无模态掩码进行优化，其中码本在推理阶段用于过滤低质量预测。
• 该方法采用两阶段优化：首先使用无模态掩码注意力优化可见掩码，然后使用优化后的可见掩码作为注意力图，进一步优化无模态掩码。

实验结果

研究问题

• RQ1 通过聚焦于可见区域特征而非整体图像特征（如人类感知），能否提升无模态分割性能？
• RQ2 如何有效编码并利用形状先验知识，以提升无模态掩码预测的逼真度和鲁棒性？
• RQ3 使用基于粗粒度无模态掩码的注意力机制来优化可见掩码，是否能比仅使用可见掩码获得更好的无模态分割效果？
• RQ4 学习到的无模态形状嵌入码本在多大程度上能提升泛化能力并降低对遮挡变化的敏感性？
• RQ5 基于形状先验的后处理能否有效过滤低质量的无模态掩码预测？

主要发现

• 所提方法在三个公开数据集上优于现有最先进方法，展现出更优的无模态掩码预测精度。
• 消融实验表明，无模态与可见掩码头之间的特征匹配可进一步提升性能，证实了对齐特征学习的优势。
• 注意力分析显示，使用可见区域特征作为无模态掩码优化的注意力输入，效果优于使用无模态掩码特征，支持了类人感知设计的有效性。
• 通过t-SNE可视化码本表明，类别特定的形状先验可学习且可解释，聚类结果反映了如旋转等形状变化。
• 在后处理中引入形状先验可显著提升预测无模态掩码的质量，通过过滤低置信度预测。
• 该模型在不同遮挡条件下保持一致的无模态预测——例如，无论绿菜被香蕉、苹果还是卷心菜遮挡，其不可见区域的感知均保持相似，展现出对遮挡上下文的鲁棒性。