[論文レビュー] SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction

Jingpei Lu, Ambareesh Jayakumari+3 more|arXiv (Cornell University)|Mar 7, 2020

Surgical Simulation and Training参考文献 46被引用数 15

ひとこと要約

SuPer Deepは、マーカーレスな手術用ツール追跡と強化されたステレオベースの変形組織再構築を実現する、深層学習を活用した手術認識フレームワークを提案する。最小限のトレーニングデータを用いたトランスファーラーニングを活用することで、ツールポーズ推定（平均IoU 91.0%）および深度マップ精度の両面で最先端の性能を達成し、手動による特徴工学的設計や塗装マーカーへの依存を顕著に低減した。

ABSTRACT

Robotic automation in surgery requires precise tracking of surgical tools and mapping of deformable tissue. Previous works on surgical perception frameworks require significant effort in developing features for surgical tool and tissue tracking. In this work, we overcome the challenge by exploiting deep learning methods for surgical perception. We integrated deep neural networks, capable of efficient feature extraction, into the tissue reconstruction and instrument pose estimation processes. By leveraging transfer learning, the deep learning based approach requires minimal training data and reduced feature engineering efforts to fully perceive a surgical scene. The framework was tested on three publicly available datasets, which use the da Vinci Surgical System, for comprehensive analysis. Experimental results show that our framework achieves state-of-the-art tracking performance in a surgical environment by utilizing deep learning for feature extraction.

研究の動機と目的

• 手術認識における手動による特徴工学的設計の限界を克服し、深層学習を活用して頑健な特徴抽出を実現すること。
• 従来のステレオアルゴリズムに依存しない、深層学習ベースのステレオマッチングによる変形組織の追跡を向上させること。
• 手術用ツール追跡における塗装マーカーやキーポイント連携の必要性を排除し、マーカーレスな運用を可能にすること。
• 公開データセットを用いた包括的評価を通じて、手術ロボティクス分野における変形組織追跡の標準化されたベンチマークを確立すること。
• 手術応用で一般的な低データ環境において、深層学習が高精度な認識を達成できることを示すこと。

提案手法

• 2つの深層ニューラルネットワーク（DNN）の統合：DNN(1)はステレオ特徴マッチングを実行し深度マップを生成する。DNN(2)は手術用ツールの特徴を検出する。
• ImageNetで事前学習されたモデルを用いたトランスファーラーニングにより、たった60～80サンプルのトレーニングデータで高精度な特徴検出を実現した。
• 信頼度重み付き観測を用いたパーティクルフィルタの採用により、低信頼度または誤検出された特徴に対しても耐性を高めた。
• 深度マップの統合による変形組織モデルの構築と、カメラフレーム内でのツールのリアルタイムローカライゼーションにより、完全なシーン再構築を実現した。
• SuPer Deepフレームワークを3つの公開されたda Vinci®手術データセットに適用し、包括的な評価を実施した。
• 手術内視鏡における深度推定において、古典的手法（例：ELAS）と深層学習ベースのステレオマッチング（例：AdaBins, DPT）を定量的に比較した。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの特徴抽出は、手術用ツール追跡において、従来の手作業による特徴設計を上回ることができるか？
• RQ2 トランスファーラーニングにより、手術ロボティクス分野で最小限のアノテート済みトレーニングデータで高精度なツール特徴検出が可能になるか？
• RQ3 変形組織追跡のための深度マップ再構築において、深層学習ベースのステレオマッチングは古典的手法に比べて優れているか？
• RQ4 完全にエンドツーエンドの深層学習フレームワークにより、手術認識における塗装マーカーやキーポイント連携の必要性を排除できるか？
• RQ5 深層学習は、最小侵襲ロボット手術における3次元組織再構築の現実性と正確性にどのような影響を与えるか？

主な発見

• SuPer Deepは、手術用ツールセグメンテーションにおいて91.0%の平均交差率（IoU）を達成し、元のSuPer手法（82.8%）を顕著に上回った。
• 深層学習ベースのステレオマッチングを活用することで、深度推定のピxls単位のRMS誤差が低減され、AdaBins や DPT といったより深いネットワークが優れた性能を示した。
• DNN(2)の手術用ツール特徴検出のトレーニングにたった60～80のトレーニングサンプルで十分であり、トランスファーラーニングによる高いデータ効率性を示した。
• フレームワークはマーカーレスなツール追跡を成功裏に実現し、従来手法で用いられる塗装マーカーの必要性を排除した。
• DNNからの信頼度スコアが特徴検出の失敗の影響を緩和し、低信頼度の検出がポーズ推定性能に悪影響を及げないことを確認した。
• 再構築された3次元シーンは現実的な組織幾何学的形状を示し、ツールがポイントクラウド上に正確に重ね合わされていたことから、環境の忠実度が向上したことが示された。