[论文解读] CoKe: Localized Contrastive Learning for Robust Keypoint Detection

Yutong Bai, Angtian Wang+2 more|arXiv (Cornell University)|Sep 29, 2020

Human Pose and Action Recognition参考文献 51被引用 8

一句话总结

CoKe 通过使用关键点库、杂波库以及累积移动平均更新，独立建模关键点特征，提出了一种对比学习框架，用于实现鲁棒的关键点检测。该方法在 PASCAL3D+、MPII 和 ObjectNet3D 等多样化数据集上，实现了最先进性能，并在遮挡和未见姿态情况下表现出卓越的鲁棒性。

ABSTRACT

In this paper, we introduce a contrastive learning framework for keypoint detection (CoKe). Keypoint detection differs from other visual tasks where contrastive learning has been applied because the input is a set of images in which multiple keypoints are annotated. This requires the contrastive learning to be extended such that the keypoints are represented and detected independently, which enables the contrastive loss to make the keypoint features different from each other and from the background. Our approach has two benefits: It enables us to exploit contrastive learning for keypoint detection, and by detecting each keypoint independently the detection becomes more robust to occlusion compared to holistic methods, such as stacked hourglass networks, which attempt to detect all keypoints jointly. Our CoKe framework introduces several technical innovations. In particular, we introduce: (i) A clutter bank to represent non-keypoint features; (ii) a keypoint bank that stores prototypical representations of keypoints to approximate the contrastive loss between keypoints; and (iii) a cumulative moving average update to learn the keypoint prototypes while training the feature extractor. Our experiments on a range of diverse datasets (PASCAL3D+, MPII, ObjectNet3D) show that our approach works as well, or better than, alternative methods for keypoint detection, even for human keypoints, for which the literature is vast. Moreover, we observe that CoKe is exceptionally robust to partial occlusion and previously unseen object poses.

研究动机与目标

• 解决将对比学习应用于关键点检测的挑战，该任务与标准对比学习任务不同，因为每张图像中包含多个标注的关键点。
• 通过引入原型表示，克服所有关键点特征之间成对对比损失计算上的不可行性。
• 通过显式建模背景杂波并将其与关键点特征区分开来，提升对遮挡和未见物体姿态的鲁棒性。
• 通过新颖的内存库和自适应特征更新机制，实现高效、可扩展的关键点检测对比学习。

提出的方法

• 引入关键点库，存储每种关键点类型的原型表示，从而实现关键点特征聚类的高效计算。
• 开发杂波库，通过存储空间上邻近的背景特征来建模非关键点特征，减少误报。
• 使用累积移动平均更新机制，在训练过程中动态维护关键点原型，确保特征学习的稳定与自适应。
• 实施杂波采样损失，显式正则化杂波特征与关键点原型之间的距离，提升特征区分能力。
• 将关键点检测建模为对比学习问题，使同一关键点簇的特征紧密聚集，而不同关键点及杂波特征则被相互推开。
• 在训练过程中将对比目标与标准分类或回归损失相结合，以提升特征质量和检测精度。

实验结果

研究问题

• RQ1 鉴于每张图像中存在多个不同关键点的独特挑战，对比学习能否被有效适配于关键点检测？
• RQ2 如何在不损失性能的前提下，降低所有关键点特征之间成对对比损失的计算成本？
• RQ3 显式建模背景杂波对关键点检测在遮挡情况下的鲁棒性有何影响？
• RQ4 通过累积移动平均实现的动态原型更新机制，如何影响关键点特征学习的稳定性和准确性？
• RQ5 与整体检测方法相比，CoKe 在部分遮挡和未见物体姿态情况下的鲁棒性提升程度如何？

主要发现

• CoKe 在 PASCAL3D+、MPII 和 ObjectNet3D 上实现了最先进性能，显著优于堆叠沙漏网络和 MSS-Net，尤其在具有挑战性的场景中表现优异。
• 在使用 Res-UNet 主干网络的 PASCAL3D+ 数据集上，CoKe 在 0 级遮挡下达到 95.5% 的准确率，显著优于无杂波库的基线方法（94.2%）和平均近似方法（88.7%）。
• 包含 1024 组的杂波库在 0 级遮挡下实现 95.5% 的准确率，表明更大的库能提升性能，尤其在低遮挡场景中效果更明显。
• 杂波采样损失至关重要：禁用该损失会使 0 级遮挡下的性能从 95.5% 降至 94.2%，凸显其在增强特征区分能力方面的作用。
• 累积移动平均更新优于周期性平均（例如，0 级遮挡下分别为 94.2% 和 88.7%），证明其在维持稳定关键点原型方面的优越性。
• CoKe 展现出对部分遮挡和未见物体姿态的卓越鲁棒性，其性能退化速度在所有遮挡等级下均显著慢于基线方法。