[论文解读] HASSOD: Hierarchical Adaptive Self-Supervised Object Detection

Shengcao Cao, Dhiraj Joshi+2 more|arXiv (Cornell University)|Feb 5, 2024

Video Surveillance and Tracking Methods被引用 4

一句话总结

HASSOD 提出了一种自监督目标检测框架，通过层次自适应聚类发现每张图像中数量可变的对象，并利用基于覆盖度的树结构学习部件到整体的对象组合。通过用 Mean Teacher 框架替代多轮自训练，HASSOD 实现了更平稳的训练过程并达到当前最优性能，在 LVIS 上将 Mask AP 从 20.2 提升至 22.5，在 SA-1B 上从 17.0 提升至 26.0。

ABSTRACT

The human visual perception system demonstrates exceptional capabilities in learning without explicit supervision and understanding the part-to-whole composition of objects. Drawing inspiration from these two abilities, we propose Hierarchical Adaptive Self-Supervised Object Detection (HASSOD), a novel approach that learns to detect objects and understand their compositions without human supervision. HASSOD employs a hierarchical adaptive clustering strategy to group regions into object masks based on self-supervised visual representations, adaptively determining the number of objects per image. Furthermore, HASSOD identifies the hierarchical levels of objects in terms of composition, by analyzing coverage relations between masks and constructing tree structures. This additional self-supervised learning task leads to improved detection performance and enhanced interpretability. Lastly, we abandon the inefficient multi-round self-training process utilized in prior methods and instead adapt the Mean Teacher framework from semi-supervised learning, which leads to a smoother and more efficient training process. Through extensive experiments on prevalent image datasets, we demonstrate the superiority of HASSOD over existing methods, thereby advancing the state of the art in self-supervised object detection. Notably, we improve Mask AR from 20.2 to 22.5 on LVIS, and from 17.0 to 26.0 on SA-1B. Project page: https://HASSOD-NeurIPS23.github.io.

研究动机与目标

• 解决先前自监督目标检测方法仅关注每张图像中一个或少数几个对象的局限性，从而提升对象覆盖范围。
• 实现对层次化对象组合（整体、部件、子部件）的发现，提升可解释性与检测性能。
• 通过借鉴 Mean Teacher 框架的平滑自适应训练过程，消除低效的多轮自训练。
• 通过联合学习对象掩码及其组合关系，提升自监督检测的泛化能力与鲁棒性。

提出的方法

• HASSOD 采用层次自适应聚类策略，利用自监督视觉表征将图像区域聚类为对象掩码，并动态调整聚类阈值以确定每张图像中的对象数量。
• 通过分析对象掩码之间的覆盖关系构建树结构，将对象分类为不同层次：整体对象、部件和子部件。
• 提出一种新颖的自监督任务——层次级别预测，以增强检测性能与可解释性。
• 用 Mean Teacher 框架替代多轮自训练，其中学生模型从教师模型的预测中学习，同时对学习目标采用自适应加权以实现更平稳的优化。
• 框架使用冻结的 DINO 主干网络生成初始伪标签，随后在训练过程中端到端地适应特征与检测头。
• 自适应损失加权平衡初始伪标签与教师预测，实现课程学习，逐步降低噪声影响。

Figure 1 : Fully self-supervised object detection and instance segmentation on prevalent image datasets. Our approach, HASSOD, demonstrates a significant improvement over the previous state-of-the-art method, CutLER [ 38 ] , by discovering a more comprehensive range of objects. Moreover, HASSOD unde

实验结果

研究问题

• RQ1 通过发现每张图像中的多个对象而非仅关注一个或少数显著对象，能否提升自监督目标检测的性能？
• RQ2 能否以自监督方式学习对象的层次化组合（整体、部件、子部件），从而提升检测与可解释性？
• RQ3 用基于 Mean Teacher 的框架替代多轮自训练，是否能实现更高效、更稳定的自监督目标检测训练？
• RQ4 通过使用多个合并阈值的集成聚类，能否提升初始伪标签的质量？
• RQ5 层次级别预测与自适应课程学习在开放词汇基准上的检测性能提升程度如何？

主要发现

• 在 LVIS 数据集上，HASSOD 将 Mask AP 从 20.2 提升至 22.5，代表了自监督目标检测领域的重要 SOTA 进步。
• 在 SA-1B 数据集上，HASSOD 将 Mask AP 从 17.0 提升至 26.0，展现出在大规模、开放词汇基准上的强大泛化能力。
• 层次自适应聚类、层次级别预测与 Mean Teacher 训练的结合取得了最佳性能，各组件分别贡献了 0.3–0.5 的 Mask AR 提升。
• 在聚类中使用多个合并阈值（0.1、0.2、0.4）可提升伪标签质量，使 AP 从 1.7 提升至 6.1，同时保持高召回率。
• Mean Teacher 框架通过不断演化的教师预测有效优化了伪标签，降低了对初始噪声标签的依赖，从而提升了最终检测性能。
• HASSOD 在检测性能上优于先前方法（如 CutLER），因其能发现更广泛的对象并理解其组合结构。

Figure 2 : Two-stage discover-and-learn process in HASSOD. Stage 1 uses a frozen, self-supervised DINO [ 5 ] ViT backbone to discover initial pseudo-labels from unlabeled images. Stage 2 learns an object detector to improve over the pre-trained features and initial pseudo-labels.