[논문 리뷰] LmPT: Conditional Point Transformer for Anatomical Landmark Detection on 3D Point Clouds

Matteo Bastico, Pierre Onghena외 6명|arXiv (Cornell University)|2026. 02. 02.

Forensic Anthropology and Bioarchaeology Studies인용 수 0

한 줄 요약

LmPT는 FiLM 기반 입력 조건화를 갖춘 조건부 포인트 트랜스포머를 도입하여 교차 종(인간과 개) 3D 대퇴골 포인트 클라우드에서 해부학적 랜드마크를 탐지하고 인간과 개 데이터셋에서 최첨단 정확도를 달성하며 종 간 번역 가능한 교차 종 학습을 가능하게 한다.

ABSTRACT

Accurate identification of anatomical landmarks is crucial for various medical applications. Traditional manual landmarking is time-consuming and prone to inter-observer variability, while rule-based methods are often tailored to specific geometries or limited sets of landmarks. In recent years, anatomical surfaces have been effectively represented as point clouds, which are lightweight structures composed of spatial coordinates. Following this strategy and to overcome the limitations of existing landmarking techniques, we propose Landmark Point Transformer (LmPT), a method for automatic anatomical landmark detection on point clouds that can leverage homologous bones from different species for translational research. The LmPT model incorporates a conditioning mechanism that enables adaptability to different input types to conduct cross-species learning. We focus the evaluation of our approach on femoral landmarking using both human and newly annotated dog femurs, demonstrating its generalization and effectiveness across species. The code and dog femur dataset will be publicly available at: https://github.com/Pierreoo/LandmarkPointTransformer.

연구 동기 및 목표

• 수작업 라벨링의 변동성을 줄이기 위해 3D 포인트 클라우드에서 정확하고 확장 가능한 자동 랜드마크화의 필요성을 제기한다.
• 전이 연구를 위한 상동골을 활용하는 교차 종 인식 가능한 랜드마크 감지기를 개발한다.
• 다른 입력 유형에 적응하기 위한 FiLM 모듈화를 갖춘 조건부 트랜스포머 모델(LmPT)을 제안한다.
• 전이 교차 종 평가를 가능하게 하기 위해 개 대퇴골 랜드마크 데이터세트를 만들고 공개한다.
• 양적 및 질적 분석을 통해 인간 및 개 대퇴골 간의 일반화 가능성을 입증한다.

제안 방법

• 3D 포인트 클라우드를 위한 트랜스포머 기반 인코더-디코더 아키텍처(Point Transformer)를 채택한다.
• 병목 인코더 특징에 적용된 Feature-wise Linear Modulation(FiLM)을 통한 입력 유형 조건화를 도입한다.
• 레이블링된 키포인트에 대한 교차 엔트로피 손실로 학습하되 비라벨 포인트는 무시한다.
• 정규화하고 8192개 포인트로 샘플링하며 회전, 스케일링, 관상면 뒤집기로 교차 도메인 일반화를 개선한다.
• 다수 임계값에서 MAE와 PCK로 평가하고 A&A 및 DGCNN를 포함한 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 조건부 포인트 트랜스포머가 교차 종(인간 및 개) 3D 대퇴골 포인트 클라우드에서 해부학적 랜드마크를 탐지할 수 있는가?
• RQ2 FiLM 기반 조건화가 교차 종 학습을 효과적으로 가능하게 하고 단일 종 학습에 비해 랜드마크 정확도를 향상시키는가?
• RQ3 랜드마크 위치 추정 정확도와 수렴 측면에서 LmPT-v2가 LmPT-v3 및 다른 베이스라인과 어떻게 비교되는가?
• RQ4 인간과 개의 랜드마크 탐지 성능에 대한 교차 종 학습의 영향은 무엇인가?
• RQ5 새로 주석된 개 대퇴골 데이터세트가 전이 연구 및 교차 종 일반화를 지원할 수 있는가?

주요 결과

• PTv2 백본을 갖춘 LmPT는 인간 대퇴골에서 최첨단 랜드마크 MAE를 달성하고 종종 전문가 수준의 주석을 능가한다.
• PTv3의 어텐션 직렬화 전략은 이 작업에서 PTv2보다 성능이 떨어져 효율성과 위치 지정 정밀도 간의 트레이드오프를 시사한다.
• LmPT-v2 consistently outperforms baselines (A&A, DGCNN) on the human femur dataset for multiple landmarks.
• On the dog femur dataset, LmPT-v2 yields the lowest MAE and fastest convergence among evaluated methods.
• Cross-species training with FiLM conditioning improves human landmark MAE over single-species training, while dog MAE shows a nuanced response due to landmark set differences.
• Cross-species training achieves comparable or better performance at lower thresholds for both species, indicating effective cross-species feature sharing.