[論文レビュー] DeepPhase: Surgical Phase Recognition in CATARACTS Videos

Odysseas Zisimopoulos, Evangello Flouty+5 more|arXiv (Cornell University)|Jul 17, 2018

Surgical Simulation and Training被引用数 11

ひとこと要約

本稿では、手術中の器具検出にResNetを用い、時間的段階遷移をモデル化するためLSTM/GRUを用いる深層学習フレームワーク、DeepPhaseを提案する。器具特徴量を用いた段階認識で78.28%の精度を達成し、時間的モデリングの優れた性能と器具検出のAUCが97.69%という高い精度を示しており、最先端の性能を発揮している。

ABSTRACT

Automated surgical workflow analysis and understanding can assist surgeons to standardize procedures and enhance post-surgical assessment and indexing, as well as, interventional monitoring. Computer-assisted interventional (CAI) systems based on video can perform workflow estimation through surgical instruments' recognition while linking them to an ontology of procedural phases. In this work, we adopt a deep learning paradigm to detect surgical instruments in cataract surgery videos which in turn feed a surgical phase inference recurrent network that encodes temporal aspects of phase steps within the phase classification. Our models present comparable to state-of-the-art results for surgical tool detection and phase recognition with accuracies of 99 and 78% respectively.

研究の動機と目的

• 手術中の意思決定支援および術後分析を支援するため、白内障手術動画における自動的段階認識システムの開発を目的とする。
• 再帰的ニューラルネットワークを統合することで、手術プロセスにおける時間的モデリングの課題に取り組む。
• ResNetからの深層特徴量とLSTM・GRUアーキテクチャによる系列モデリングを活用し、段階認識の精度を向上させる。
• 未観測の動画における汎化性能を評価し、クラス不均衡や段階遷移のノイズに対するモデルの頑健性を分析する。
• 臨床的および教育的応用に適したスケーラブルでエンドツーエンドの手術プロセス分析ソリューションを提供する。

提案手法

• 手術器具の検出に深層特徴量を抽出するため、残差畳み込みニューラルネットワーク（ResNet）を用い、器具が角膜に接触している場合にのみ器具の存在をアノテートする。
• LSTMまたはGRUユニットを備えた再帰的ニューラルネットワーク（RNN）が、器具特徴量の系列を処理し、時間的依存性をモデル化することで手術段階を推定する。
• 100フレーム（約33秒）の入力系列をスライディングウィンドウ方式で処理し、時間的に連続する段階分類を可能にする。
• 二値の存在ベクトルとResNetからの深層特徴埋め込みをRNNの入力として使用し、後者の方がLSTMモデルで優れた性能を示した。
• 学習はAdam最適化アルゴリズムを用い、固定学習率0.001、モーメンタムパラメータβ₁=0.9、β₂=0.999を4エポックにわたり設定する。
• 段階のアノテーションは専門医によるもので、capsulorhexis、phacoemulsification、IOL挿入などを含む14の明確に区別できる段階が定義されている。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、動画と器具存在アノテーションのみを用いて、高い精度で手術段階認識を達成できるか？
• RQ2 ResNetからの深層特徴表現を二値の器具存在情報と比較して、段階認識性能がどの程度向上するか？
• RQ3 LSTMおよびGRUアーキテクチャは、訓練データが限られる段階に対しても、どの程度汎化可能か？
• RQ4 未観測のテスト動画におけるモデルの性能はいかに高く、クラス不均衡や段階遷移のノイズといった要因がその汎化に与える影響は？
• RQ5 RNNによる時間的モデリングは、白内障手術の手順的性質を効果的に捉えられるか？

主な発見

• LSTMモデルは、深層ResNet特徴量を用いた場合、ホールドアウトテストセットで78.28%の精度を達成し、二値入力や他の設定を上回った。
• GRUモデルは、二値入力で訓練セットで89.98%の精度を示したが、テストセットでは71.61%に低下し、過学習または入力タイプへの感受性が示された。
• 深層特徴量で学習したLSTMモデルは、検証セットで92.05%、テストセットで78.28%の精度を達成し、優れた汎化性能と頑健性を示した。
• モデルの性能は、特に2本の動画でのみ出現するレアな段階（ICL（ボイシクレアティビティ注入）やICL（レンズ除去））のクラス不均衡に顕著に影響を受けていた。
• 器具が存在しないときや段階遷移の際には誤予測が頻発し、時間的境界検出の課題が浮き彫りになった。
• 器具検出のAUCはCATARACTSテストセットで97.69%に達し、手術領域内での器具存在の同定に極めて信頼性が高いことを示している。