[論文レビュー] MITI: SLAM Benchmark for Laparoscopic Surgery

Regine Hartwig, Daniel Ostler+4 more|arXiv (Cornell University)|Feb 23, 2022

Robotics and Sensor-Based Localization被引用数 5

ひとこと要約

本論文は、腹腔鏡手術におけるビジュアルインertialSLAMアルゴリズムを評価するための新規ベンチマークデータセットMITIを紹介する。同期されたステレオRGB動画、9自由度IMUデータ、赤外線トラッキング（地面真理）を提供するとともに、カメラ、IMU、時間オフセットの包括的なキャリブレーションを備えており、最小侵襲手術環境におけるSLAMシステムの正確な評価を可能にする。

ABSTRACT

We propose a new benchmark for evaluating stereoscopic visual-inertial computer vision algorithms (SLAM/ SfM/ 3D Reconstruction/ Visual-Inertial Odometry) for minimally invasive surgical (MIS) interventions in the abdomen. Our MITI Dataset available at [https://mediatum.ub.tum.de/1621941] provides all the necessary data by a complete recording of a handheld surgical intervention at Research Hospital Rechts der Isar of TUM. It contains multimodal sensor information from IMU, stereoscopic video, and infrared (IR) tracking as ground truth for evaluation. Furthermore, calibration for the stereoscope, accelerometer, magnetometer, the rigid transformations in the sensor setup, and time-offsets are available. We wisely chose a suitable intervention that contains very few cutting and tissue deformation and shows a full scan of the abdomen with a handheld camera such that it is ideal for testing SLAM algorithms. Intending to promote the progress of visual-inertial algorithms designed for MIS application, we hope that our clinical training dataset helps and enables researchers to enhance algorithms.

研究の動機と目的

• 最小侵襲手術（MIS）におけるビジュアルインエントリカルSLAMを評価するための標準化され、臨床的に関連性のあるデータセットの不足に対処すること。
• 組織変形が最小限で、完全な腹部スキャンを捉えた現実的で臨床的に記録されたデータセットを提供すること。
• 内 endoscopic 環境におけるSLAM、SfM、ビジュアルインエントリカルオドメトリのアルゴリズムの正確なベンチマーク評価を可能にすること。
• マルチセンサーフュージョンに適したカメラ、IMU、時間オフセットを含む包括的なキャリブレーションデータを提供すること。
• 腹腔鏡手術の課題に特化した再現可能で信頼性の高い研究とアルゴリズム開発を促進すること。

提案手法

• TUMのRechts der Isar病院で実施された実際の手術介入中に、ハンドヘルドの腹腔鏡からマルチモーダルセンサーデータを取得した。
• 1080p解像度のステレオRGB動画を59.9 Hzで、3D腹腔鏡（Karl Storz Tipcam）から収録した。
• 220 Hzで、ハンドル部に取り付けた2つのセンサーボードから9自由度IMUデータ（ジャイロ、加速度計、磁気計）を記録した。
• 20 Hzで、2つの剛体ターゲットにパassiveスフィアを備えたNDI Polaris Vega赤外線トラッキングシステムを用い、地面真理ポーズを提供した。
• チェッカーパattersパターンとピンホールモデルを用いてカメラパラメータをキャリブレーションした。歪み補正にはラジアル歪みを含む最小二乗法ソルバーを用いた。
• 重力と既知の磁界条件下で加速度計および磁気計の誤差を最小化することで、IMUキャリブレーションを実施した。
• 視覚オドメトリ、IR、IMUデータストリーム間の速度差を最小化することで、センサ間の時間オフセットをキャリブレーションした。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、腹腔鏡手術におけるビジュアルインエントリカルSLAMアルゴリズムを評価するための標準化されたベンチマークデータセットを構築できるか？
• RQ2 ステレオ腹腔鏡画像とインertシャルセンシングのためのセンサキャリブレーションで達成可能な精度の水準はどの程度か？
• RQ3 マルチモーダルセンサ間の時間オフセットがMIS環境におけるSLAMシステムの性能にどのように影響するか？
• RQ4 データセットに組織変形がほとんどないことによって、SLAMアルゴリズムの信頼性のある評価がどの程度可能になるか？
• RQ5 赤外線トラッキングは、内視鏡環境におけるビジュアルインエントリカルSLAMの検証に十分な精度の地面真理を提供できるか？

主な発見

• MITIデータセットは、同期されたステレオRGB動画、IMUデータ、赤外線トラッキングを含む、完全で公開可能なベンチマークを提供する。
• 最小二乗法ソルバーを用い、最大6次多項式歪みモデルを用いて、ラジアル歪みの正確な補正が達成された。
• IMUキャリブレーションにより、加速度計および磁気計のバイアスとスケールファクターが適切に補正され、ミンスキーでの既知の重力加速度（9.81 m/s²）および地球磁界（48.6 µT）と整合した。
• 時間オフセットキャリブレーションにより、センサモダリティ間の差異が低減され、最適化後、視覚オドメトリ、IR、IMUの角速度が強く一致した。
• 組織との相互作用が最小限の完全な腹部スキャンを捉えたデータセットであり、現実的だが制御された条件下でSLAMアルゴリズムのテストに最適である。
• 剛体変換と座標系定義の組み込みにより、正確なマルチセンサーフュージョンと、さまざまなSLAMフレームワーク間での再現可能な評価が可能になった。