[論文レビュー] Coarse-to-fine Surgical Instrument Detection for Cataract Surgery Monitoring

Hassan Al Hajj, Gwenolé Quellec+3 more|arXiv (Cornell University)|Sep 19, 2016

Retinal Imaging and Analysis参考文献 10被引用数 4

ひとこと要約

本論文では、白内障手術中の手術器具のリアルタイム検出を目的として、2つのビデオストリーム（手術台と顕微鏡）を用い、粗くから細かくまで段階的なk-NNベースの手法を提案する。静的器具セグメンテーション（A_z = 0.982）および動的変化検出（A_z = 0.947）において高い正確性を達成し、器具の台への挿入・抜去を追跡することで、手術の監視を向上させることを可能にする。

ABSTRACT

The amount of surgical data, recorded during video-monitored surgeries, has extremely increased. This paper aims at improving existing solutions for the automated analysis of cataract surgeries in real time. Through the analysis of a video recording the operating table, it is possible to know which instruments exit or enter the operating table, and therefore which ones are likely being used by the surgeon. Combining these observations with observations from the microscope video should enhance the overall performance of the systems. To this end, the proposed solution is divided into two main parts: one to detect the instruments at the beginning of the surgery and one to update the list of instruments every time a change is detected in the scene. In the first part, the goal is to separate the instruments from the background and from irrelevant objects. For the second, we are interested in detecting the instruments that appear and disappear whenever the surgeon interacts with the table. Experiments on a dataset of 36 cataract surgeries validate the good performance of the proposed solution.

研究の動機と目的

• 手術台上での手術器具の正確な検出を通じて、白内障手術のリアルタイム自動分析を向上させること。
• 部分的遮蔽や視点の変化がある中で、多数の視覚的に類似した器具を検出する課題に対処すること。
• 背景の雑音や器具とは関係のない物体（タオルや容器など）と区別し、手術中に器具の出現・消滅を追跡する手法を開発すること。
• 顕微鏡ビデオ解析との統合を促進するために、手術台からの視点で正確な器具の存在情報を提供すること。
• 信頼性の高い器具検出を通じて、手術ステップ認識やスキル評価などの後続応用を支援すること。

提案手法

• 画像のダウンサンプリングと高速k-NN近似を用いることで、k-NNベースの器具検出を高速化する粗くから細かくまで段階的な検索戦略を採用する。
• 静的検出では、初期の手術台画像から局所的なパッチ特徴を抽出し、手動でセグメンテーションされた基準パッチとk-NN回帰を用いて一致させ、器具の確率を予測する。
• 動的検出では、前行動フレームと後行動フレームの差分画像を分析し、局所的な変化特徴を計算してk-NNで一致させ、出現または消滅した器具を検出する。
• 手動による地面真理セグメンテーションを用いた強力な教師ありアプローチを採用し、36本の白内障手術ビデオにおいて器具および変化を手動でラベル付けした。
• 静的検出にはD-PSOを、動的検出にはグリッドサーチを用いたパrameter最適化を行い、静的フェーズからの固定パラメータを採用した。
• 手術台のビデオストリームを活用することで、顕微鏡ベースの解析における曖昧さを低減し、器具使用状況を推定する。

実験結果

リサーチクエスチョン

• RQ1 粗くから細かくまで段階的なk-NNアプローチは、白内障手術ビデオにおいて、高い正確性で手術台上の器具を効果的に検出できるか？
• RQ2 本システムは、背景の雑音やタオルや容器のような関係のない物体と、器具をどれほど効果的に区別できるか？
• RQ3 二重のビデオストリーム（手術台と顕微鏡）を用いることで、単一ストリーム手法と比較して、器具検出性能がどの程度向上するか？
• RQ4 動的外科的行動中に、器具の出現・消滅イベントを信頼性高く検出できるか？
• RQ5 パrameterの選択が検出性能に与える影響は何か？また、D-PSOやグリッドサーチといった最適化手法は、性能のロバストネスを向上させられるか？

主な発見

• 静的器具検出手法は受信者操作特性曲線下の面積（A_z = 0.982）を達成し、器具と背景の分離が優れていることを示した。
• 動的器具検出手法はA_z = 0.947を達成し、外科的行動中に出現または消滅する器具を効果的に検出できたことを示した。
• 訓練データにタオルなどの背景オブジェクトが手動でアノテーションされていなくても、システムは器具を正しくセグメンテーションできた。
• 視覚的変化が極端な場合を除き、シーンに進入または退出する器具を明確に同定できたことが視覚的結果で示された。
• D-PSOおよびグリッドサーチを用いたパrameter最適化により、36例の手術データセット全体で安定した検出性能が向上した。
• 粗くから細かくまで段階的な戦略により、計算コストを効果的に削減しながらも、高い検出正確性を維持できた。