[論文レビュー] Comparative evaluation of instrument segmentation and tracking methods in minimally invasive surgery

Sebastian Bodenstedt, Max Allan+18 more|arXiv (Cornell University)|May 7, 2018

Surgical Simulation and Training参考文献 20被引用数 50

ひとこと要約

本論文は、ロボット系と従来式腹腔鏡手術における視覚ベースの器具セグメンテーションと追跡手法をデータセット主導で包括的に比較し、深層学習法がセグメンテーションで従来法を上回り、複数手法の統合が精度を改善することを示しつつ、追跡は依然として難しいことを示している。

ABSTRACT

Intraoperative segmentation and tracking of minimally invasive instruments is a prerequisite for computer- and robotic-assisted surgery. Since additional hardware like tracking systems or the robot encoders are cumbersome and lack accuracy, surgical vision is evolving as promising techniques to segment and track the instruments using only the endoscopic images. However, what is missing so far are common image data sets for consistent evaluation and benchmarking of algorithms against each other. The paper presents a comparative validation study of different vision-based methods for instrument segmentation and tracking in the context of robotic as well as conventional laparoscopic surgery. The contribution of the paper is twofold: we introduce a comprehensive validation data set that was provided to the study participants and present the results of the comparative validation study. Based on the results of the validation study, we arrive at the conclusion that modern deep learning approaches outperform other methods in instrument segmentation tasks, but the results are still not perfect. Furthermore, we show that merging results from different methods actually significantly increases accuracy in comparison to the best stand-alone method. On the other hand, the results of the instrument tracking task show that this is still an open challenge, especially during challenging scenarios in conventional laparoscopic surgery.

研究の動機と目的

• ロボット手術と従来腹腔鏡手術での器具セグメンテーションと追跡のための共通かつ公開可能な検証データセットを提供すること。
• 標準化されたロボットおよび従来腹腔鏡データ上で最先端の視覚ベースのセグメンテーションと追跡手法を比較すること。
• 最良の単独手法を超えるセグメンテーション精度を、複数手法の組み合わせで改善できるかを評価すること。
• 現実の手術条件下での器具追跡に残る課題を特定すること。

提案手法

• ロボット系（関節機構を持つ器具）と従来腹腔鏡（剛体器具）の検証データセットを2つ作成・公開し、訓練/テスト分割と注釈マスクを付与する。
• 2つのデータセットで、複数のセグメンテーション手法（CNNベースおよびRFベース）を評価する。
• セグメンテーション結果を動作推定・姿勢追跡で拡張する複数の追跡手法を評価する。
• 複数手法のセグメンテーション出力を多数決投票やSTAPLEで結合して精度を改善することを検討する。
• 主指標としてDice相似係数（DSC）を用い、精度、適合率、再現率などの追加指標も併用する。Wilcoxonの符号付き順位検定で統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 現実的な課題（遮蔽、煙、出血、メッシュの存在）を含むロボット手術データと従来腹腔鏡データに対して、視覚ベースの器具セグメンテーション手法はどの程度性能を発揮するか。
• RQ2 複数のセグメンテーション結果を統合することで、データセットと難易条件を跨いでBestな単独手法を超えるDSCを達成できるか。
• RQ3 異なる手術設定下で、器具の中心・軸・姿勢を最もよく推定する追跡手法はどれか。主な誤差源は何か。
• RQ4 難しい条件下で従来腹腔鏡手術における器具追跡の残る制約は何か。

主な発見

手法	DSC	精度	再現	正確さ
SEG-KIT-CNN	0.88	0.86	0.90	0.98
SEG-UB	0.84	0.78	0.94	0.97
SEG-UCL-CNN	0.82	0.81	0.88	0.97
SEG-JHU	0.82	0.83	0.85	0.97
SEG-UGA	0.66	0.94	0.55	0.95
SEG-KIT-RF	0.50	0.74	0.44	0.93
SEG-UCL-RF	0.42	0.74	0.35	0.93

• CNNベースのセグメンテーション手法は、ロボット系データセットと従来データセットの両方で一般的に非CNN手法を上回る。
• SEG-KIT-CNNはD-CONV-SEG AllでDSC 0.88、SEG-JHUはD-ROB-SEGでDSC 0.88で最上位を達成。
• 多数決投票またはSTAPLEを用いたセグメーション結果の結合は、最高の単独手法を大幅に上回ることがあり、データセット間で同様の利得が得られる。
• D-CONV-SEG Allでは、上位3つの結合構成が最高の単独手法を上回り、SEG-KIT-CNNが結合の上位構成に頻繁に含まれる。
• 従来腹腔鏡手術における器具追跡は依然として難しく、遮蔽・出血・煙・メッシュの有無などに依存する。
• 複数手法からの結合追跡出力も追跡精度を改善するが、利得はシナリオと手法の相補性に依存する。