[論文レビュー] Geometry OR Tracker: Universal Geometric Operating Room Tracking

Yihua Shao, Kang Chen+7 more|arXiv (Cornell University)|Feb 28, 2026

Robotics and Sensor-Based Localization被引用数 0

ひとこと要約

Geometry OR Trackerは、ノイズのある OR キャリブレーションを是正する2段階パイプラインを導入し、共有手術室フレーム内でメトリックな、オクルージョンに頑健な3Dトラッキングを実現して、ビュー間の一貫性と軌跡品質を向上させます。

ABSTRACT

In operating rooms (OR), world-scale multi-view 3D tracking supports downstream applications such as surgeon behavior recognition, where physically meaningful quantities such as distances and motion statistics must be measured in meters. However, real clinical deployments rarely satisfy the geometric prerequisites for stable multi-view fusion and tracking: camera calibration and RGB-D registration are always unreliable, leading to cross-view geometric inconsistency that produces "ghosting" during fusion and degrades 3D trajectories in a shared OR coordinate frame. To address this, we introduce Geometry OR Tracker, a two-stage pipeline that first rectifies imprecise calibration into a scaleconsistent and geometrically consistent camera setup with a single global scale via a Multi-view Metric Geometry Rectification module, and then performs Occlusion-Robust 3D Point Tracking directly in the unified OR world frame. On the MM-OR benchmark, improved geometric consistency translates into tracking gains: our rectification front-end reduces cross-view depth disagreement by more than 30$\times$ compared to raw calibration. Ablation studies further demonstrate the relationship between calibration quality and tracking accuracy, showing that improved geometric consistency yields stronger world-frame tracking.

研究の動機と目的

• unreliable なカメラキャリブレーションとRGB-Dのズレにもかかわらず、手術室でのメトリック精度のある3Dトラッキングを動機付ける。
• 最初にグローバルメトリックジオメトリへキャリブレーションを是正する2段階パイプラインを提案し、次にORフレーム内でオクルージョンに頑健な3D点トラッキングを行う。
• ABL方法を通じて幾何的一貫性が後続トラッキング性能に与える影響をMM-ORで示す。
• rectification がクロスビュー深度の一貫性を改善し、フュージョン時のゴースティングを低減することを示す。

提案手法

• 段階1: 多視点メトリックキャリブレーション是正は、ノイズ入力からグローバルメトリックスケール、是正内部パラメータ、是正姿勢、各フレームの是正深度を予測する。
• 是正深度を再投影して3Dカメラポイントに変換し、共有ルームフレームへ変換してグローバルスケールmを持つメトリックポイントマップを得る。
• 段階2: オクルージョンに頑健なメトリック3D点トラッキングは、複数視点の観測をORフレーム内の3D特徴クラウドへ融合し、局所3D近傍検索と反復的改良によって3Dクエリポイントを追跡する。
• 是正されたメトリック空間下で、オクルージョン下において3D軌跡を更新するための事前学習済みの多視点トラッカーを使用する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるORキャリブレーションを幾何的一貫性を持って是正することは、信頼できるメトリック4D再構成とトラッキングを可能にするか。
• RQ2 クロスビューの幾何的一貫性を改善すると、オクルージョン下での3Dトラッキング精度と頑健性にどのような影響があるか。
• RQ3 どの入力（RGB、深度、内部パラメータ、外部パラメータ）が是正の深度精度と下流のトラッキング性能に最も寄与するか。
• RQ4 手術室でのメトリック深度品質と世界フレームのトラッキング精度にはどのような関係があるか。

主な発見

Method	AJ	Delta_avg	OA	MTE
CoTracker3 [9]	79.67	85.16	83.42	7.13
SpaTrackerV2 [24]	81.31	83.77	89.82	9.25
LocoTrack [2]	81.58	89.60	79.70	8.68
SceneTracker [20]	69.03	86.47	73.75	6.80
DELTA [14]	77.88	87.29	73.18	9.46
MVTracker [18]	84.78	90.29	93.18	3.70
Ours (Full)	89.73	93.65	96.28	3.46
w/o. MMCR (raw geometry)	84.78	90.29	93.18	3.70

• 是正は、生データのキャリブレーションと比較してクロスビュー深度の不一致を著しく低減する（平均誤差と中央値の誤差がそれぞれ1.4115 mおよび1.4151 mから0.0459 mおよび0.0204 mへ低下）。
• 完全な幾何一貫性パイプラインはMM-ORで最も良いトラッキング指標を達成（AJ 89.73、Delta_avg 93.65、OA 96.28、MTE 3.46）。
• MMCRのアブレーションは、是正を除外するとAJ、Delta_avg、OAでトラッキングが劣化する一方、MTEを低減させうることを示し、クロスビュー一貫性と漂移のトレードオフを示す。
• RGB、深度、内部パラメータ、姿勢を含む是正入力は最も高い深度精度（AbsRel 0.060、RMSE 0.653）と最も強力なトラッキング（部分入力でAJ 74.78; 完全入力で最高の全体トラッキング）をもたらす。
• より良い是正はクロスビューのメトリック一貫性を高め、フュージョンのゴースティングを減らし、オクルージョン下での3D近傍検索を安定化させる。
• 提案手法は代表的なベースライン（MVTracker、CoTracker3、SpaTrackerV2 など）を3Dトラッキング指標で一貫して上回る。