[论文解读] Geometry Constrained Weakly Supervised Object Localization

Weizeng Lu, Xi Jia+4 more|arXiv (Cornell University)|Jul 19, 2020

Advanced Neural Network Applications参考文献 25被引用 9

一句话总结

该论文提出GC-Net，一种基于几何约束的弱监督目标定位框架，仅使用图像级别标签即可端到端训练。通过整合检测器、生成器和分类器，并采用新颖的多任务损失函数，GC-Net无需后处理即可预测精确的目标边界框，在CUB-200-2011和ILSVRC2012数据集上超越了当前最先进方法。

ABSTRACT

We propose a geometry constrained network, termed GC-Net, for weakly supervised object localization (WSOL). GC-Net consists of three modules: a detector, a generator and a classifier. The detector predicts the object location defined by a set of coefficients describing a geometric shape (i.e. ellipse or rectangle), which is geometrically constrained by the mask produced by the generator. The classifier takes the resulting masked images as input and performs two complementary classification tasks for the object and background. To make the mask more compact and more complete, we propose a novel multi-task loss function that takes into account area of the geometric shape, the categorical cross-entropy and the negative entropy. In contrast to previous approaches, GC-Net is trained end-to-end and predict object location without any post-processing (e.g. thresholding) that may require additional tuning. Extensive experiments on the CUB-200-2011 and ILSVRC2012 datasets show that GC-Net outperforms state-of-the-art methods by a large margin. Our source code is available at https://github.com/lwzeng/GC-Net.

研究动机与目标

• 解决无需边界框标注的弱监督目标定位（WSOL）挑战。
• 克服基于CAM的方法依赖后处理阈值化且激活区域模糊的局限性。
• 开发一种端到端可训练的框架，消除后处理步骤中对超参数调优的需求。
• 通过可微分生成器施加几何约束（椭圆、矩形、旋转形状），提升定位精度。
• 设计一种多任务损失函数，联合优化形状紧致性、目标完整性与分类性能。

提出的方法

• GC-Net由三个模块组成：检测器负责回归几何形状参数（如中心点、轴长、旋转角）；生成器利用椭圆、矩形或旋转形状的数学模型，将这些参数转换为可微分的二值掩码。
• 生成器通过反正切函数对Heaviside函数进行可微分近似，以实现掩码生成过程中的反向传播。
• 分类器执行两个互补任务：对掩码对象区域和掩码背景区域进行分类，以增强定位信号。
• 多任务损失函数由三部分组成：面积损失（用于强制几何形状的紧致性）、对象损失（确保正确分类对象）和背景损失（确保对象区域完整覆盖）。
• 该方法支持多种几何形状（普通矩形、旋转矩形、旋转椭圆），每种形状均由一个可微分的隐式函数φ(x,y)定义，该函数将空间坐标映射为到形状边界的有符号距离。
• 通过几何模型的解析导数，梯度可反向传播通过生成器，从而实现检测器的端到端训练。

实验结果

研究问题

• RQ1 可微分的几何约束是否能在无需边界框标注的情况下提升弱监督目标定位性能？
• RQ2 结合形状紧致性、对象分类与背景完整性三者的多任务损失是否能超越现有WSOL方法？
• RQ3 消除如阈值化等后处理步骤是否能提升弱监督设置下的定位鲁棒性与准确性？
• RQ4 具有显式几何先验的模型驱动生成器是否能提供强于CAM-based方法的监督信号？
• RQ5 GC-Net在细粒度数据集（CUB-200-2011）与大规模数据集（ILSVRC2012）上的表现是否优于当前最先进方法？

主要发现

• GC-Net在CUB-200-2011数据集上达到最先进性能，无需任何后处理即可实现更高的定位精度。
• 在ILSVRC2012数据集上，GC-Net显著超越现有弱监督目标定位方法，展现出在大规模基准上的强大泛化能力。
• 消融实验表明，所提出的多任务损失，尤其是面积、对象与背景损失的联合设计，对实现高定位精度至关重要。
• 可微分几何生成器的使用实现了端到端训练，消除了后处理中阈值调优的需求，简化了部署流程。
• 该模型在多种几何形状（普通矩形、旋转矩形、椭圆）上均表现稳健，证明了几何约束方法的灵活性与泛化能力。
• 生成器的可微设计使得梯度能有效反向传播通过掩码，使检测器能够直接从分类信号学习精确的形状参数。