[論文レビュー] Phase-Specific Augmented Reality Guidance for Microscopic Cataract Surgery Using Long-Short Spatiotemporal Aggregation Transformer

Puxun Tu, Hongfei Ye+7 more|arXiv (Cornell University)|Sep 11, 2023

Intraocular Surgery and LensesMedicine被引用数 3

ひとこと要約

本論文は、長時間・短時間の時空間的集約Transformer（LS-SAT）を用いて、リアルタイムで手術フェーズを認識する、顕微鏡下白内障手術におけるフェーズ別拡張現実（AR）ガイダンスシステムを提案する。角膜隅様部に焦点を当てた空間的特徴とマルチスケール時系列モデリングを組み合わせることで、フェーズに応じたAR視覚的キュー（例：領域別ガイダンス、回転整合）を提供し、フレーム単位の手法に比べて高い正確性とリアルタイム性能を実現。臨床的妥当性評価により、フェーズ認識とARキュー整合の両面で高い信頼性が確認された。

ABSTRACT

Phacoemulsification cataract surgery (PCS) is a routine procedure conducted using a surgical microscope, heavily reliant on the skill of the ophthalmologist. While existing PCS guidance systems extract valuable information from surgical microscopic videos to enhance intraoperative proficiency, they suffer from non-phasespecific guidance, leading to redundant visual information. In this study, our major contribution is the development of a novel phase-specific augmented reality (AR) guidance system, which offers tailored AR information corresponding to the recognized surgical phase. Leveraging the inherent quasi-standardized nature of PCS procedures, we propose a two-stage surgical microscopic video recognition network. In the first stage, we implement a multi-task learning structure to segment the surgical limbus region and extract limbus region-focused spatial feature for each frame. In the second stage, we propose the long-short spatiotemporal aggregation transformer (LS-SAT) network to model local fine-grained and global temporal relationships, and combine the extracted spatial features to recognize the current surgical phase. Additionally, we collaborate closely with ophthalmologists to design AR visual cues by utilizing techniques such as limbus ellipse fitting and regional restricted normal cross-correlation rotation computation. We evaluated the network on publicly available and in-house datasets, with comparison results demonstrating its superior performance compared to related works. Ablation results further validated the effectiveness of the limbus region-focused spatial feature extractor and the combination of temporal features. Furthermore, the developed system was evaluated in a clinical setup, with results indicating remarkable accuracy and real-time performance. underscoring its potential for clinical applications.

研究の動機と目的

• 超音波白内障手術（PCS）におけるフェーズ別インtraoperative ARガイダンスの欠如が、視覚的冗長性と認知的負荷を引き起こすという問題に対処すること。
• 顕微鏡ビデオからの空間的および時系列的特徴を活用して、より高い正確性を達成するリアルタイム手術フェーズ認識システムを開発すること。
• 角膜隅様部の楕円フィッティングや回転計算といった、認識された手術フェーズに文脈的に関連したAR視覚的キューを設計すること。
• 実際の手術条件下で、リアルタイム性能と実用的条件下での頑健性を保証するため、臨床現場での評価を実施すること。
• フレーム単位処理の限界を克服し、長時間および短時間の時系列依存性を統合することで、フェーズ遷移時の安定したフェーズ認識を実現すること。

提案手法

• 2段階の手術ビデオ認識ネットワークを提案：まず、マルチタスク学習構造により、各フレームで角膜隅様部をセグメンテーションし、角膜隅様部に焦点を当てた空間的特徴を抽出する。
• 次に、短時間および長時間の時系列特徴と空間的特徴を統合することで、細粒度の局所的およびグローバルな時系列的関係をLS-SATがモデリングする。
• LS-SATネットワークは、二重ブランチアテンション機構を用いて、フレーム間の局所的運動パターンと長時間の手順的文脈の両方を捉える。
• AR視覚的キューは、角膜隅様部の楕円フィッティングと、領域制限付き正規相関を用いた回転計算により生成され、認識された手術フェーズに応じてカスタマイズされる。
• システムは、リアルタイムに手術フェーズ認識とARキュー生成を統合し、外部ディスプレイで安定した30 fpsの可視化を維持する。
• 臨床的評価は、自社開発および公開データセットを用いて実施され、アブレーションスタディにより、角膜隅様部に焦点を当てた特徴抽出器と時系列特徴統合の貢献が検証された。

実験結果

リサーチクエスチョン

• RQ1 フェーズ別ARガイダンスシステムは、白内障手術中の視覚的冗長性を低減し、手術中の集中力を向上させることができるか？
• RQ2 長短時間の時空間的集約トランスフォーマー（LS-SAT）は、フレーム単位または短時間時系列手法と比較して、どれほどリアルタイムで手術フェーズを正確に認識できるか？
• RQ3 角膜隅様部の監視を組み込むことで、空間的特徴の質とフェーズ認識の正確性はどの程度向上するか？
• RQ4 本研究で提案するARガイダンスシステムの臨床的実現可能性とリアルタイム性能は、実際の手術環境でどの程度確保できるか？
• RQ5 角膜隅様部の誤分類や誤認識がARキュー整合性に与える影響は何か？また、このような失敗はどの程度の頻度で発生するか？

主な発見

• LS-SATネットワークは、フェーズ遷移時を含め、フレーム単位および短時間時系列集約手法よりも滑らかで正確な手術フェーズ認識を達成した。
• 困難なフレームに対しても、既存の長時間時系列ネットワークを上回る頑健性を示し、手順的遷移時の安定性が向上した。
• アブレーションスタディにより、角膜隅様部に焦点を当てた空間的特徴抽出器および短時間・長時間時系列特徴の統合が、認識正確性の向上に顕著な寄与をしたことが確認された。
• 臨床的妥当性評価において、システムは一貫した30 fpsの可視化レートを維持し、手術内使用に適したリアルタイム性能を示した。
• ARシーンの失敗は稀であり、主に運動ブラー、変形、手術器具干渉による角膜隅様部の誤セグメンテーションが原因であった。各フェーズにおいて成功したシーンが大多数を占めた。
• システムは高い臨床的信頼性を示し、誤認識や誤セグメンテーションは、主に手術器具を使用しない状況で発生したが、手術プロトコル全体への影響は限定的であった。