[論文レビュー] A comprehensive survey on recent deep learning-based methods applied to surgical data

Mansoor Ali, Rafael Martinez Garcia Pena+2 more|arXiv (Cornell University)|Sep 3, 2022

Surgical Simulation and Training被引用数 4

ひとこと要約

本論文は、最小侵襲外科学における手術データ解析に向けた深層学習ベースの手法について包括的なサーベイを提示している。主な焦点は、手術用具の局所化、セグメンテーション、トラッキング、3Dシーン認識である。最先端の技術をレビューし、公開済みのベンチマークデータセットを評価し、限られたアノテート済みデータ、内視鏡画像内のアーティファクト、テクスチャの欠如した組織といった主な課題を特定するとともに、臨床応用の促進とモデルの頑健性向上のための方向性を提案している。

ABSTRACT

Minimally invasive surgery is highly operator dependant with a lengthy procedural time causing fatigue to surgeon and risks to patients such as injury to organs, infection, bleeding, and complications of anesthesia. To mitigate such risks, real-time systems are desired to be developed that can provide intra-operative guidance to surgeons. For example, an automated system for tool localization, tool (or tissue) tracking, and depth estimation can enable a clear understanding of surgical scenes preventing miscalculations during surgical procedures. In this work, we present a systematic review of recent machine learning-based approaches including surgical tool localization, segmentation, tracking, and 3D scene perception. Furthermore, we provide a detailed overview of publicly available benchmark datasets widely used for surgical navigation tasks. While recent deep learning architectures have shown promising results, there are still several open research problems such as a lack of annotated datasets, the presence of artifacts in surgical scenes, and non-textured surfaces that hinder 3D reconstruction of the anatomical structures. Based on our comprehensive review, we present a discussion on current gaps and needed steps to improve the adaptation of technology in surgery.

研究の動機と目的

• 手術ナビゲーションタスク（手術用具の局所化、セグメンテーション、トラッキング、3Dシーン再構築）における最近の深層学習ベースのアプローチを体系的にレビューすること。
• アノテート済みデータセットの不足、画像アーティファクト、テクスチャの欠如した解剖学的表面といった、手術データ科学における主な課題を特定・分析すること。
• 手術ナビゲーション研究で使用されている公開済みのベンチマークデータセットを評価し、その多様性と有用性を検討すること。
• 未解決の研究課題について議論し、モデルの汎化性能、リアルタイム性能、臨床応用の促進のための実行可能なステップを提案すること。
• フェデレーテッドラーニング、自己教師あり学習、拡張現実といった新興技術が、データおよびデプロイメントの制限を克服する上で果たす役割を検討すること。

提案手法

• 2016年から2021年までの手術データ科学における深層学習応用に関する体系的な文献レビューを実施すること。
• 手術用具検出、セグメンテーション、トラッキング、3D再構築の応用に基づいて、手法を分類・分析すること。
• mAP、Diceスコア、推論速度といった指標を用いて、最先端モデルの性能と限界を評価すること。
• 15個以上の公開済み手術データセットを調査・要約し、アノテーションプロトコル、モodalities、タスク固有の応用を含めること。
• 定性的な合成手法を用いて、モデルアーキテクチャのトレンド（例：U-Net、YOLO、Transformers）およびトレーニング戦略（例：自己教師あり学習、敵対的データ拡張）を同定すること。
• リアルタイム推論、ハードウェア互換性、術前画像およびロボットシステムとの統合を重視する、臨床デプロイメントのためのフレームワークを提案すること。

実験結果

リサーチクエスチョン

• RQ1 手術用具セグメンテーションおよびトラッキングに用いられる代表的な深層学習アーキテクチャおよび技術は何か？
• RQ2 現在の手法は、内視鏡動画におけるアーティファクト、低テクスチャ、隠蔽の課題をどのように扱っているか？
• RQ3 既存のベンチマークデータセットの多様性、スケール、アノテーション品質という観点から、主な制限要因は何か？
• RQ4 現在の手法は、手術室におけるリアルタイム推論および臨床デプロイメントをどの程度サポートしているか？
• RQ5 フェデレーテッドラーニングや自己教師あり学習といった戦略は、手術AIにおけるデータ不足とプライバシー懸念をどのように軽減できるか？

主な発見

• 手術用具のセグメンテーションおよび検出が最も注目を集めており、U-NetおよびYOLOベースのモデルが標準ベンチマークで高いDiceスコア（最大0.92）を達成している。
• 自己教師あり学習およびアテンションベースの手法は、内視鏡画像におけるアーティファクトや低コントラスト状態に対する頑健性の向上を示している。
• 進展は見られるが、実時間推論の評価がなされているモデルはわずかにしかなく、大多数が1フレームあたり50 ms以上を要しており、臨床的有用性に制限がある。
• EndoCV、Cholec80、JIGSAWといった公開データセットは広く使われているが、外科科や器具タイプの多様性に欠けている。
• 術前画像と術中深層学習モデルの統合は、その潜在的価値にもかかわらず、依然として十分に検討されていない。
• フェデレーテッドラーニングおよび合成データ生成は、多施設における手術AI開発におけるデータ不足とプライバシー問題を解決するための有望な解決策として浮上している。