[論文レビュー] Toward Personalized Training and Skill Assessment in Robotic Minimally Invasive Surgery

Mahtab J. Fard, Sattar Ameri+1 more|arXiv (Cornell University)|Oct 23, 2016

Surgical Simulation and Training参考文献 10被引用数 3

ひとこと要約

本論文は、ロボット支援最小侵襲外科学（RMIS）における自動的でパーソナライズされたスキル評価およびリアルタイムフィードバックを実現する、形状ベースでDTW（動的時系列適合）を活用したk-NNフレームワークを提案する。豊富な前処理を伴わず、生のキネマティック時系列データを直接分析することで、縫合では82%、ニードルパスでは70%、ノットタイでは85%の精度を達成し、最小限のパrameterチューニングで最先端の手法を上回るか同等の性能を発揮。手術医のトレーニング中におけるオンラインでのパフォーマンスフィードバックも可能である。

ABSTRACT

Despite the immense technology advancement in the surgeries the criteria of assessing the surgical skills still remains based on subjective standards. With the advent of robotic-assisted surgery, new opportunities for objective and autonomous skill assessment is introduced. Previous works in this area are mostly based on structured-based method such as Hidden Markov Model (HMM) which need enormous pre-processing. In this study, in contrast with them, we develop a new shaped-based framework for automatically skill assessment and personalized surgical training with minimum parameter tuning. Our work has addressed main aspects of skill evaluation; develop gesture recognition model directly on temporal kinematic signal of robotic-assisted surgery, and build automated personalized RMIS gesture training framework which . We showed that our method, with an average accuracy of 82% for suturing, 70% for needle passing and 85% for knot tying, performs better or equal than the state-of-the-art methods, while simultaneously needs minimum pre-processing, parameter tuning and provides surgeons with online feedback for their performance during training.

研究の動機と目的

• 手動による主観的・専門家ベースの評価の限界を克服するため、客観的で自動的かつパーソナライズされたロボット支援最小侵襲外科学（RMIS）におけるスキル評価フレームワークの開発を目的とする。
• 時系列類似性を用いて、新手術手技のパフォーマンスが専門家の基準からどれほど逸脱しているかを特定することで、手術トレーニング中にリアルタイムでオンラインフィードバックを提供することを目的とする。
• 形状ベースの類似性測定を用いて生のキネマティック信号を直接分類することで、複雑な前処理や広範なパrameterチューニングへの依存を低減することを目的とする。
• 個々の手術医の改善が必要な特定の手技を特定することで、パーソナライズドトレーニングを支援することを目的とする。
• リアルタイムでのジェスチャー認識を通じて、自動カメラ制御などの半自律的ロボット動作の開発基盤を構築することを目的とする。

提案手法

• 本手法は、変動するタイミングを示す時系列データ同士を強固に比較できるようにするため、動的時系列適合（DTW）を用いて手術手技の時系列キネマティック信号間の類似性を計算する。
• DTW距離をk-最近傍法（k-NN）分類器の入力として用い、新しいジェスチャーを事前に定義された手術タスクカテゴリに割り当てる。
• フレームワークは生のキネマティックデータに直接作用し、特徴抽出を回避することで前処理の複雑さを低減する。
• 初心者と専門家との間のパフォーマンス差を特定するために、誤分類マトリクスのヒートマップを生成する。
• 手術医のジェスチャーが専門家のパターンから逸脱していることを検出することで、オンラインでの拡張フィードバックを提供する。
• 本手法は、事前に定義された手術ジェスチャー辞書（表2）および専門家がアノテートした真値ラベルに依存している。

実験結果

リサーチクエスチョン

• RQ1 形状ベースの時系列分類手法は、RMISの生のキネマティックデータのみを用いても、高い正確性で手術ジェスチャー認識を達成できるか？
• RQ2 このような手法は、初心者のパフォーマンスを専門家の基準と比較することで、手術トレーニング中にリアルタイムでパーソナライズされたフィードバックを提供できるか？
• RQ3 DTW-kNN手法の性能は、既存のHMMおよび特徴ベースの手法と比較して、正確性と計算の卪簡潔さの観点でどのように異なるか？
• RQ4 初心者が専門家と比較して誤って実行している主なジェスチャーは何か、そしてそれらは体系的に特定可能か？
• RQ5 このフレームワークは、手術分野における半自律的ロボットシステムの開発をどの程度支援できるか？

主な発見

• 提案されたフレームワークは、縫合で平均82%、ニードルパスで70%、ノットタイで85%の精度を達成し、実際のRMISタスクにおいて優れた性能を示した。
• 本手法は、最小限の前処理とパrameterチューニングで、最先端の手法を上回るか同等の性能を発揮した。
• 誤分類マトリクスのヒートマップから、初心者手術医は特定のジェスチャーに特に訓練が不足していることが判明した。例として、縫合ではG4、G6、G3、ニードルパスではほとんどのジェスチャーが挙げられた。
• ノットタイは最も単純なタスクであり、初心者にとって再訓練が必要なのはG12のみであった。
• 現在のグローバルな手術ジェスチャー辞書は、普遍的な手術言語を支援するために見直しが必要である可能性を示唆している。
• 本研究は、正確な真値ラベルの重要性を強調しており、分類性能が専門家によるアノテートの質に強く依存していることが判明した。