[論文レビュー] Real-time image-based instrument classification for laparoscopic surgery

Sebastian Bodenstedt, Antonia Ohnemus+7 more|arXiv (Cornell University)|Aug 1, 2018

Robotics and Sensor-Based Localization参考文献 9被引用数 8

ひとこと要約

本稿では、2段階のパイプラインを用いたリアルタイムで画像ベースの腹腔鏡手術用器具の検出および分類手法を提示する。まず、GPUアクセラレーションを用いたランダムフォレストがピクセル単位のセグメンテーションを実行し、器具候補のバウンディングボックスを生成する。次に、複数モodal特徴（色相、彩度、勾配、SURF）を用いたランダムフォレストのカスケードが各ボックスを分類する。本システムは、リアルタイムの腹腔鏡動画において、自動検出されたボックス上で80%の器具検出精度および49%の分類精度を達成した。

ABSTRACT

During laparoscopic surgery, context-aware assistance systems aim to alleviate some of the difficulties the surgeon faces. To ensure that the right information is provided at the right time, the current phase of the intervention has to be known. Real-time locating and classification the surgical tools currently in use are key components of both an activity-based phase recognition and assistance generation. In this paper, we present an image-based approach that detects and classifies tools during laparoscopic interventions in real-time. First, potential instrument bounding boxes are detected using a pixel-wise random forest segmentation. Each of these bounding boxes is then classified using a cascade of random forest. For this, multiple features, such as histograms over hue and saturation, gradients and SURF feature, are extracted from each detected bounding box. We evaluated our approach on five different videos from two different types of procedures. We distinguished between the four most common classes of instruments (LigaSure, atraumatic grasper, aspirator, clip applier) and background. Our method succesfully located up to 86% of all instruments respectively. On manually provided bounding boxes, we achieve a instrument type recognition rate of up to 58% and on automatically detected bounding boxes up to 49%. To our knowledge, this is the first approach that allows an image-based classification of surgical tools in a laparoscopic setting in real-time.

研究の動機と目的

• 手術中に使用中の器具を特定することで、リアルタイムで文脈に即した支援を可能にすること。
• マーカーや事前定義された3Dモデルに依存せずに、内視鏡画像のみを用いて器具種別を認識する課題に取り組むこと。
• 遮蔽、運動ブラー、照明の変動に対しても耐性を持つ、リアルタイムで堅牢なシステムを構築すること。
• 2つの手術プロシージャーからの多様な腹腔鏡動画データを用いて、臨床的妥当性を保証する評価を実施すること。

提案手法

• 閾値処理を施したグレースケール画像上で、コーンから中心への対角走査を用いて、円形の視野境界を検出しマスク処理する。
• マルチスペクトル特徴（RGB、HSV、LAB、オポーネント、勾配）を用いた、GPU最適化されたピクセル単位のランダムフォレストセグメンテーションを実行し、器具候補領域を特定する。
• モルフォロジカルクロージィングを用いてセグメンテーションを精緻化し、類似した主方向を持つ輪郭を統合して連結成分を形成する。
• 最大5つの輪郭から軸に平行なバウンディングボックスを抽出し、分類ステージに渡す。
• 入力特徴として、色相と彩度の10ビンヒストグラム、勾配の大きさ、PCAで次元削減されたSURF特徴を含む、2段階のランダムフォレスト分類器のカスケードを用いて器具種別を特定する。
• ラベル付きの器具バウンディングボックスと器具種別を備えたアノテート済み腹腔鏡動画を用いてシステムを学習する。

実験結果

リサーチクエスチョン

• RQ1 外部マーカーや事前学習済み3Dモデルに依存せずに、リアルタイムで画像ベースのシステムが腹腔鏡器具を検出し、分類できるか。
• RQ2 実際の手術条件下で、類似した外観の器具（例：LigaSure、非挿入性グリッパー、吸引器）を区別するために、マルチフィーチャーランダムフォレストアプローチはどの程度有効か。
• RQ3 自動検出されたバウンディングボックス上で器具を分類する際の性能は、手動で描画されたボックスと比較してどの程度か。
• RQ4 遮蔽、運動ブラー、照明の変動が、リアルな腹腔鏡動画における器具検出および分類精度にどのように影響を与えるか。

主な発見

• 本システムは、2つのデータセット全体で80%の器具を正常に検出できた。セット1では94%、セット2では85%の検出率を示した。
• 手動で描画されたバウンディングボックス上で、器具種別分類の正確性はセット1で58%、セット2で52%に達し、検出が正確であれば高い認識可能性を示した。
• 自動検出されたバウンディングボックス上で器具を分類した場合、セット1では49%、セット2では48%の精度を達成し、リアルタイムでの実装における耐性を確認した。
• 最も頻度の高かった誤分類は、シャフトが類似した器具同士（例：LigaSure、非挿入性グリッパー、吸引器）の間で発生し、特に照明が悪い状況や部分的遮蔽下で顕著であった。
• 運動ブラー、重なった器具、器具先端の不完全な可視性が主な誤り要因であり、しばしば統合検出や誤検出を引き起こした。
• 検出処理は1秒あたり22.2フレーム（1フレームあたり45ms）、分類処理は1秒あたり32.5フレーム（1フレームあたり30ms）で実行され、臨床応用に必要なリアルタイム要件を満たした。