[論文レビュー] Concurrent Segmentation and Localization for Tracking of Surgical Instruments

Iro Laina, Nicola Rieke+5 more|arXiv (Cornell University)|Mar 30, 2017

Surgical Simulation and Training参考文献 18被引用数 16

ひとこと要約

本論文は、深層学習を用いて手術器具の同時セグメンテーションと局所化（CSL）を実現する手法を提案する。2次元ポーズ推定をヒートマップ回帰に再定式化することで、セグメンテーションとランドマーク局所化のエンドツーエンドで統合された学習が可能となる。本手法は、ミックアイ EndoVis Challenge 2015 および網膜マイクロサージェリーベンチマークの両方で最先端の性能を達成し、ブラーおよび鏡面反射などの困難な条件下でも、精度と耐障害性に優れる。

ABSTRACT

Real-time instrument tracking is a crucial requirement for various computer-assisted interventions. In order to overcome problems such as specular reflections and motion blur, we propose a novel method that takes advantage of the interdependency between localization and segmentation of the surgical tool. In particular, we reformulate the 2D instrument pose estimation as heatmap regression and thereby enable a concurrent, robust and near real-time regression of both tasks via deep learning. As demonstrated by our experimental results, this modeling leads to a significantly improved performance than directly regressing the tool position and allows our method to outperform the state of the art on a Retinal Microsurgery benchmark and the MICCAI EndoVis Challenge 2015.

研究の動機と目的

• リアルタイムのin-vivo条件下（例：運動ブラー、鏡面反射）で失敗しやすい、逐次的または2段階的手法の限界を是正すること。
• セグメンテーションと局所化の間に内在する空間的依存関係を活用し、両タスクを統合された深層学習フレームワーク内でモデル化すること。
• 初期化、後処理、時間的正則化の必要性を排除すること。
• 両タスクに共通の重みを持つ完全畳み込みネットワークを用いてグローバルなコンテキストを活用することで、耐障害性と精度を向上させること。
• 推論時に器具数、関節数、意味的クラス数の変動に柔軟に適応できること。

提案手法

• 2次元器具ポーズ推定をヒートマップ回帰に再定式化し、各画素の値がランドマーク位置である確信度を表す。
• 空間分解能の保持と特徴学習の向上を図るため、スキップ接続を備えた完全畳み込み残差ネットワーク（FCRN）を採用。
• 共有エンコーダ・デコーダアーキテクチャを用いて、セマンティックセグメンテーションとヒートマップ回帰の両タスクをエンドツーエンドで同時に学習。
• 複数の器具および関節を扱えるように、学習可能なヒートマップを用いた多クラスセグメンテーションを採用し、左・右器具の区別を可能に。
• 未学習の器具の視点や配置に一般化するため、水平反転を用いたデータ拡張を実施。
• セグメンテーションの交差エントロピーとヒートマップ回帰の平均二乗誤差を組み合わせたジョイント損失関数を用い、両タスクを同時に最適化。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションと2次元ポーズ推定の同時学習は、困難な視覚的条件下（例：ブラー、鏡面反射）における最小侵襲手術の追跡耐障害性と精度を向上させ得るか？
• RQ2 局所化をヒートマップ回帰としてモデル化することで、直接的な2次元座標回帰に比べて、手術器具追跡性能が向上するか？
• RQ3 統合された深層学習フレームワークにより、初期化、後処理、時間的正則化の必要性が排除可能か？
• RQ4 本手法は、訓練時に1つの器具しか見ていなかった場合でも、未観測の器具や視点に一般化できるか？
• RQ5 意味的クラス数や追跡対象関節数の増加に伴い、モデルの性能はどの程度スケーリングするか？

主な発見

• MICCAI EndoVis Challenge 2015では、平均局所化誤差が24.8/51.6ピクセルと、評価された全指標で従来の最先端手法を上回った。
• 網膜マイクロサージェリーシーケンスにおけるHalf Split Experimentでは、α=0.15の条件下で平均KBBスコアが84％以上を記録し、ベースライン手法を著しく上回った。
• 網膜マイクロサージェリーにおけるクロスバリデーション実験では、未観測の器具タイプや形状に対しても強力な一般化性能を示し、最先端の性能を達成した。
• 網膜マイクロサージェリーベンチマークではDICEスコア75.4％を達成し、U-Net（72.5％）や他のベースラインを上回った。
• 訓練時に1つの器具しか学習していなかったにもかかわらず、EndoVisデータセットのシーケンス5および6で未確認の器具を正常に局所化・セグメンテーションした。
• アブレーションスタディにより、スキップ接続を有するCSLは、それなしのCSLに比べてDICEスコアが0.9％向上したことが確認され、特徴の精練における重要性が示された。