[论文解读] KeypointNet: A Large-scale 3D Keypoint Dataset Aggregated from Numerous Human Annotations

Yang You, Yujing Lou+6 more|arXiv (Cornell University)|Feb 28, 2020

3D Shape Modeling and Analysis参考文献 40被引用 14

一句话总结

KeypointNet 首次构建了大规模 3D 关键点数据集，包含 8,234 个模型和跨 16 个类别的 103,450 个由人类标注的关键点，采用一种基于优化的聚合方法，解决了众包标注中的不一致性问题。该方法通过最小化保真度损失，生成高保真度且语义有意义的关键点，并对 10 种 SOTA 方法进行了基准测试，揭示尽管近期取得进展，关键点检测与对应关系任务仍具挑战性。

ABSTRACT

Detecting 3D objects keypoints is of great interest to the areas of both graphics and computer vision. There have been several 2D and 3D keypoint datasets aiming to address this problem in a data-driven way. These datasets, however, either lack scalability or bring ambiguity to the definition of keypoints. Therefore, we present KeypointNet: the first large-scale and diverse 3D keypoint dataset that contains 103,450 keypoints and 8,234 3D models from 16 object categories, by leveraging numerous human annotations. To handle the inconsistency between annotations from different people, we propose a novel method to aggregate these keypoints automatically, through minimization of a fidelity loss. Finally, ten state-of-the-art methods are benchmarked on our proposed dataset. Our code and data are available on https://github.com/qq456cvb/KeypointNet.

研究动机与目标

• 为解决缺乏大规模、多样化且无偏见的 3D 关键点数据集的问题，此类数据集应能反映人类的语义理解。
• 解决来自多位标注者众包标注的 3D 关键点中存在的一致性与噪声问题。
• 开发一种可扩展的自动聚合方法，以保留关键点的语义与结构意义。
• 基于真实人类定义的语义，建立 3D 关键点检测与对应关系的基准。
• 评估最先进方法在关键点显著性与对应关系估计任务上的表现，揭示持续存在的挑战。

提出的方法

• 提出一种新颖的优化框架，通过最小化保真度损失函数，聚合来自多位人类标注者的关键点标注。
• 将聚合过程建模为交替优化问题，联合优化关键点位置与语义标签。
• 利用对称性等几何先验知识，验证并优化聚合后的关键点集合。
• 定义两个大规模任务：关键点显著性估计（检测显著点）与关键点对应关系估计（跨对象预测语义标签）。
• 采用基于距离的评估指标（PCK），设置从 0 到 0.1 的阈值，以评估定位精度。
• 为每个对象设定固定的关键点最大数量，并分配语义索引，缺失的关键点用 -1 表示。

实验结果

研究问题

• RQ1 能否在无专家偏见的前提下，从多样化、非专家的人类标注中构建大规模 3D 关键点数据集？
• RQ2 如何自动将不一致、嘈杂且重叠的人类 3D 关键点标注聚合为一致且高保真的真实标签？
• RQ3 当前最先进深度学习模型在真实世界中人类定义的关键点空间下的语义关键点检测与对应关系任务中，其泛化能力如何？
• RQ4 在不同定位阈值下，不同网络架构在关键点显著性与对应关系任务中的表现如何？
• RQ5 在超越纯粹几何显著性的前提下，检测语义上有意义的 3D 关键点面临哪些主要挑战？

主要发现

• KeypointNet 包含 8,234 个 3D 模型和跨 16 个类别的 103,450 个标注关键点，是迄今为止最大且最多样化的 3D 关键点数据集。
• 所提出的基于优化的聚合方法成功统一了不一致的人工标注，即使在关键点间距较近时也优于传统聚类方法。
• RSNet 在 mIoU（61.7）和 PCK（61.7）两项指标上均取得最高分，表明其性能相对较强，但所有方法在高精度定位方面仍表现不佳。
• 所有方法的平均 mIoU 为 55.0，阈值为 0.01 时的平均 PCK 仅为 42.9，表明关键点检测与对应关系任务仍极具挑战性。
• 可视化结果表明，大多数模型会遗漏或错误定位关键点，尤其是在对称或复杂区域，反映出几何显著性与语义理解之间存在差距。
• 基准测试结果证实，当前 SOTA 方法仍无法可靠地检测关键点并为其分配一致的语义标签，凸显了对更优模型的迫切需求。