[논문 리뷰] Geometry OR Tracker: Universal Geometric Operating Room Tracking

Yihua Shao, Kang Chen외 7명|arXiv (Cornell University)|2026. 02. 28.

Robotics and Sensor-Based Localization인용 수 0

한 줄 요약

Geometry OR Tracker는 노이즈가 있는 OR 보정이나 보정 문제를 보정해 공유 작동 공간 프레임에서 메트릭, 가림-강인한 3D 추적을 가능하게 하며 교차 시야 일관성 및 궤적 품질을 향상시킨다.

ABSTRACT

In operating rooms (OR), world-scale multi-view 3D tracking supports downstream applications such as surgeon behavior recognition, where physically meaningful quantities such as distances and motion statistics must be measured in meters. However, real clinical deployments rarely satisfy the geometric prerequisites for stable multi-view fusion and tracking: camera calibration and RGB-D registration are always unreliable, leading to cross-view geometric inconsistency that produces "ghosting" during fusion and degrades 3D trajectories in a shared OR coordinate frame. To address this, we introduce Geometry OR Tracker, a two-stage pipeline that first rectifies imprecise calibration into a scaleconsistent and geometrically consistent camera setup with a single global scale via a Multi-view Metric Geometry Rectification module, and then performs Occlusion-Robust 3D Point Tracking directly in the unified OR world frame. On the MM-OR benchmark, improved geometric consistency translates into tracking gains: our rectification front-end reduces cross-view depth disagreement by more than 30$ imes$ compared to raw calibration. Ablation studies further demonstrate the relationship between calibration quality and tracking accuracy, showing that improved geometric consistency yields stronger world-frame tracking.

연구 동기 및 목표

• 운영실에서의 신뢰할 수 없는 카메라 보정과 RGB-D 정합성 불일치에도 불구하고 메트릭 정확한 3D 추적을 촉진한다.
• 먼저 보정을 글로벌 메트릭 기하로 보정하는 다단계 파이프라인을 제안하고, 그 다음 OR 프레임에서 가림-강인한 3D 포인트 추적을 수행한다.
• ablation 연구를 통해 기하학적 일관성이 downstream 추적 성능에 미치는 영향을 MM-OR에서 보여준다.
• rectification은 교차 시야 깊이 일관성을 개선하고 융합 중 고스트를 감소시킨다.

제안 방법

• Stage 1: 다중 시야 메트릭 보정 보정(Rectification)으로 전역 메트릭 스케일, 보정된 내부 파라미터, 보정된 포즈, 그리고 노이즈 입력으로부터 프레임별 보정된 깊이를 예측한다.
• 보정된 깊이를 3D 카메라 포인트로 역투사하고 공유된 룸 프레임으로 변환하여 전역 스케일 m을 가지는 메트릭 포인트 맵을 얻는다.
• Stage 2: Occlusion-Robust 메트릭 3D 포인트 추적은 다중 시야 관찰을 OR 프레임의 3D 특징 구름으로 융합하고, 국소 3D 이웃 검색 및 반복 보정을 통해 3D 쿼리 포인트를 추적한다.
• 사전에 학습된 다중 시야 트래커를 사용하여 보정된 메트릭 공간에서 가림 하에 3D 궤적을 업데이트한다.

실험 결과

연구 질문

• RQ1 기하학적으로 일관된 노이즈가 있는 OR 보정으로 신뢰할 수 있는 메트릭 4D 재구성 및 추적이 가능할까?
• RQ2 교차 시야 기하학적 일관성 향상이 가림 하에서 3D 추적 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 보정에 사용할 입력(RGB, 깊이, 내부 파라미터, 외부 파라미터)은 깊이 정확도와 다운스트림 추적 성능에 어떤 이점을 주는가?
• RQ4 메트릭 깊이 품질과 운영실의 월드 프레임 추적 정확도 간의 관계는 무엇인가?

주요 결과

Method	AJ	Delta_avg	OA	MTE
CoTracker3 [9]	79.67	85.16	83.42	7.13
SpaTrackerV2 [24]	81.31	83.77	89.82	9.25
LocoTrack [2]	81.58	89.60	79.70	8.68
SceneTracker [20]	69.03	86.47	73.75	6.80
DELTA [14]	77.88	87.29	73.18	9.46
MVTracker [18]	84.78	90.29	93.18	3.70
Ours (Full)	89.73	93.65	96.28	3.46
w/o. MMCR (raw geometry)	84.78	90.29	93.18	3.70

• Rectification은 교차 시야 깊이 불일치를 현저히 감소시키며(평균 오차 및 중앙값 오차가 1.4115 m 및 1.4151 m에서 0.0459 m 및 0.0204 m로 감소).
• 전체 기하학적으로 일관된 파이프라인이 MM-OR에서 최고의 추적 지표를 달성(AJ 89.73, Delta_avg 93.65, OA 96.28, MTE 3.46).
• MMCR 절삭(ablations)에서 보정을 제거하면 AJ, Delta_avg, OA에서 추적이 악화되지만 MTE는 감소하여 특정 구성에서 교차 시야 일관성과 드리프트 간의 트레이드오프를 강조한다.
• RGB, 깊이, 내부 파라미터, 자세를 포함한 보정 입력이 최상의 깊이 정확도(AbsRel 0.060, RMSE 0.653)와 가장 강한 추적(AJ 74.78, 부분 입력에서; 전체 입력은 최고의 전체 추적)을 제공한다.
• 더 나은 보정은 교차 시야 메트릭 일관성을 강화하고 융합 고스트를 줄이며 가림 하에서 3D 이웃 검색을 안정시킨다.
• 제안된 방법은 대표적 베이스라인(MVTracker, CoTracker3, SpaTrackerV2 등)을 3D 추적 지표에서 꾸준히 능가한다.