[论文解读] LmPT: Conditional Point Transformer for Anatomical Landmark Detection on 3D Point Clouds

Matteo Bastico, Pierre Onghena+6 more|arXiv (Cornell University)|Feb 2, 2026

Forensic Anthropology and Bioarchaeology Studies被引用 0

一句话总结

LmPT 引入带 FiLM 输入条件的条件点变换器，在跨物种的3D股骨点云中检测解剖标志物，达到人类和狗数据集的最先进准确性，并实现跨物种的转化学习。

ABSTRACT

Accurate identification of anatomical landmarks is crucial for various medical applications. Traditional manual landmarking is time-consuming and prone to inter-observer variability, while rule-based methods are often tailored to specific geometries or limited sets of landmarks. In recent years, anatomical surfaces have been effectively represented as point clouds, which are lightweight structures composed of spatial coordinates. Following this strategy and to overcome the limitations of existing landmarking techniques, we propose Landmark Point Transformer (LmPT), a method for automatic anatomical landmark detection on point clouds that can leverage homologous bones from different species for translational research. The LmPT model incorporates a conditioning mechanism that enables adaptability to different input types to conduct cross-species learning. We focus the evaluation of our approach on femoral landmarking using both human and newly annotated dog femurs, demonstrating its generalization and effectiveness across species. The code and dog femur dataset will be publicly available at: https://github.com/Pierreoo/LandmarkPointTransformer.

研究动机与目标

• 实现精确、可扩展的自动点云标志物标注，以减少人工标注变异性。
• 开发一个具有跨物种能力的标志物检测器，利用同源骨骼用于转化研究。
• 提出带 FiLM 调制的条件变换器模型（LmPT），以适应不同输入类型。
• 创建并发布一份狗股骨标志物数据集，以便开展跨物种转化评估。
• 通过定量和定性分析，展示在人类和狗股骨上的泛化能力。

提出的方法

• 采用基于变换器的编码-解码架构（Point Transformer）用于3D点云。
• 通过在瓶颈编码特征上应用特征层线性调制（FiLM）实现输入类型条件化。
• 使用对标记关键点的交叉熵损失进行训练，忽略未标注的点。
• 对数据进行归一化、采样至8192个点，并通过旋转、缩放和冠状面翻转等增强来提高跨领域泛化能力。
• 使用MAE和PCK在多阈值下进行评估，并与基线（包括A&A和DGCNN）进行比较。

实验结果

研究问题

• RQ1 条件 Point Transformer 是否能够在跨物种（人类与狗）3D股骨点云上检测解剖标志物？
• RQ2 基于FiLM的条件化是否能够实现有效的跨物种学习，并相较单一物种训练是否提高标志物准确性？
• RQ3 LmPT-v2 相较于 LmPT-v3 及其他基线在标志物定位精度和收敛性方面的表现如何？
• RQ4 跨物种训练对人类与狗的标志物检测性能有何影响？
• RQ5 新注释的狗股骨数据集能否支持转化研究和跨物种泛化？

主要发现

• 带 PTv2 主干的 LmPT 在人类股骨上实现了最先进的标志物 MAE，且常常超过专家级标注。
• PTv3 的注意力序列化策略在此任务上不如 PTv2，显示出效率与定位精度之间的权衡。
• LmPT-v2 在人类股骨数据集上对多个人标志物持续优于基线（A&A、DGCNN）。
• 在狗股骨骨骼数据集上，LmPT-v2 给出最低的 MAE 并在评估的方法中最快收敛。
• 带 FiLM 条件的跨物种训练相比单物种训练提高了人类标志物 MAE 的表现，而狗的 MAE 因标志物集合差异表现出细微响应。
• 跨物种训练在较低阈值下对两物种都实现了可比或更好的性能，表明跨物种特征共享有效。