[论文解读] Adaptive Binarization for Weakly Supervised Affordance Segmentation

Johann Sawatzky, Jüergen Gall|arXiv (Cornell University)|Jul 10, 2017

Robot Manipulation and Learning参考文献 26被引用 5

一句话总结

本文提出一种基于稀疏关键点标注的弱监督功能分割自适应二值化方法，消除了对额外图割后处理步骤的依赖。通过学习实例特定的阈值并利用近似交叉验证优化初始化，该方法在CAD-120和UMD数据集上将平均Jaccard准确率提升最高达17个百分点。

ABSTRACT

The concept of affordance is important to understand the relevance of object parts for a certain functional interaction. Affordance types generalize across object categories and are not mutually exclusive. This makes the segmentation of affordance regions of objects in images a difficult task. In this work, we build on an iterative approach that learns a convolutional neural network for affordance segmentation from sparse keypoints. During this process, the predictions of the network need to be binarized. In this work, we propose an adaptive approach for binarization and estimate the parameters for initialization by approximated cross validation. We evaluate our approach on two affordance datasets where our approach outperforms the state-of-the-art for weakly supervised affordance segmentation.

研究动机与目标

• 解决像素级标注不可用、仅依赖稀疏关键点监督的弱监督功能分割挑战。
• 克服在迭代深度学习流水线中固定阈值二值化在功能分割中的局限性。
• 通过引入自适应、实例特定的二值化，消除先前工作中依赖的额外图割分割步骤。
• 通过基于关键点的Jaccard近似估计超参数，提升功能掩码初始化质量。
• 在弱监督设置下，在两个基准功能分割数据集上实现最先进性能。

提出的方法

• 提出一种自适应二值化策略，在训练过程中为每张图像和每个功能类别计算唯一的阈值，取代固定的50%阈值二值化。
• 使用二值化步骤的可微分松弛，使反向传播能够通过阈值操作，实现端到端训练。
• 仅使用关键点位置近似计算Jaccard指数，以估计分割掩码的最优初始化参数。
• 基于Jaccard近似，通过近似交叉验证优化超参数（如高斯核带宽σ）。
• 将自适应二值化集成到迭代学习框架中，交替更新卷积神经网络权重并优化分割掩码。
• 在两个数据集（CAD-120和UMD部件功能）上评估方法，采用VGG和ResNet主干网络，以证明其鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 与固定阈值二值化相比，自适应、实例特定的二值化是否能提升弱监督功能分割的准确率？
• RQ2 消除后处理图割步骤是否能实现对细粒度功能区域更优的定位？
• RQ3 能否仅通过关键点标注和近似交叉验证，有效估计掩码初始化的超参数？
• RQ4 所提出方法在具有重叠区域的复杂多标签功能分割任务中表现如何？
• RQ5 自适应二值化策略是否能在不同网络架构和数据集划分上实现良好泛化？

主要发现

• 在CAD-120数据集的演员划分上，所提方法相比[27]将平均Jaccard准确率提升17个百分点。
• 在UMD部件功能数据集上，方法在新类别划分上的平均Jaccard指数达到0.42，在类别划分上达到0.60，优于[27]和先前最先进方法。
• 基于ResNet的模型在两个数据集的所有划分上均取得高于基于VGG的模型的平均准确率，而[27]中VGG在某些情况下表现更优。
• 定性结果表明，所提方法能更准确地定位小功能部件（如水杯的杯盖），避免如[27]中出现的与主对象过度合并的问题。
• 基于近似交叉验证的超参数初始化方法显著提升了掩码质量，尤其在训练初期。
• 该方法消除了对外部图割步骤的需求，简化了流水线并减少了后处理带来的误差传播。