[論文レビュー] "Train one, Classify one, Teach one" -- Cross-surgery transfer learning for surgical step recognition

Daniel Neimark, Omri Bar+3 more|arXiv (Cornell University)|Feb 24, 2021

Surgical Simulation and Training参考文献 28被引用数 5

ひとこと要約

本論文は、新規の時系列適応ネットワーク（TSAN）と自己教師付きシーケンスソーティング（SeSo）事前学習を用いて、4つの腹腔鏡手術で手術ステップを認識するためのクロス手術転移学習フレームワーク「Train one, Classify one, Teach one」を提案する。最小限のラベル付きデータを用いて胆嚢切除術から他の手術に転移する場合、90%を超える正確性を達成し、手術動画解析における効果的なドメイン適応を示している。

ABSTRACT

Prior work demonstrated the ability of machine learning to automatically recognize surgical workflow steps from videos. However, these studies focused on only a single type of procedure. In this work, we analyze, for the first time, surgical step recognition on four different laparoscopic surgeries: Cholecystectomy, Right Hemicolectomy, Sleeve Gastrectomy, and Appendectomy. Inspired by the traditional apprenticeship model, in which surgical training is based on the Halstedian method, we paraphrase the "see one, do one, teach one" approach for the surgical intelligence domain as "train one, classify one, teach one". In machine learning, this approach is often referred to as transfer learning. To analyze the impact of transfer learning across different laparoscopic procedures, we explore various time-series architectures and examine their performance on each target domain. We introduce a new architecture, the Time-Series Adaptation Network (TSAN), an architecture optimized for transfer learning of surgical step recognition, and we show how TSAN can be pre-trained using self-supervised learning on a Sequence Sorting task. Such pre-training enables TSAN to learn workflow steps of a new laparoscopic procedure type from only a small number of labeled samples from the target procedure. Our proposed architecture leads to better performance compared to other possible architectures, reaching over 90% accuracy when transferring from laparoscopic Cholecystectomy to the other three procedure types.

研究の動機と目的

• 複数の腹腔鏡手術手技における手術ステップ認識のための転移学習を調査すること。
• 自己教師付き事前学習を活用することで、大規模なラベル付きデータセットへの依存を低減すること。
• 多様な手術タイプを用いて、手術動画解析におけるドメイン適応の有効性を評価すること。
• 手術転移学習に最適化された時系列アーキテクチャの開発すること。
• 単一手術の学習にとどまらない、手術知能モデルの一般化を実証すること。

提案手法

• 手術ステップ認識および転移学習を目的とした新規の時系列アーキテクチャ、時系列適応ネットワーク（TSAN）を提案する。
• TSANの事前学習のため、ラベルなし手術動画特徴量を用いた自己教師付きシーケンスソーティング（SeSo）タスクを導入する。
• 胆嚢切除術で事前学習し、右半側大腸切除術、スリーブ胃切除術、虫垂切除術で微調整することで転移学習を適用する。
• 訓練データサイズの変化に応じた性能評価により、データ効率を分析する。
• 同一の事前学習および微調整プロトコル下で、TSANと標準LSTMその他のアーキテクチャを比較する。
• 段階的サブセット戦略を用いて、訓練データサイズの関数としての正確性を分析する。

実験結果

リサーチクエスチョン

• RQ1 1つの手術タイプで学習した手術ステップ認識モデルは、他の腹腔鏡手術に効果的に一般化できるか？
• RQ2 ラベルなしデータに対する自己教師付き事前学習は、手術動画解析における転移学習の向上にどの程度効果的か？
• RQ3 クロス手術転移学習において、ソースドメインとターゲットドメインのデータが事前学習性能に与える影響は何か？
• RQ4 モデルアーキテクチャ（例：TSAN 対 LSTM）は、手術手技間の転移性能にどのように影響するか？
• RQ5 新しい手術手技に適応するための最小限のラベル付きデータ量は何か？

主な発見

• SeSo事前学習を施したTSANは、胆嚢切除術から右半側大腸切除術、スリーブ胃切除術、虫垂切除術への転移において90%を超える正確性を達成する。
• 胆嚢切除術でSeSo事前学習を施した場合、右半側大腸切除術で94.7%、虫垂切除術で90.4%の正確性を達成する。
• ターゲット手術ごとに100～200件の訓練サンプルしか使用しなくても、正確性は常に90%以上を維持する。
• ソース（胆嚢切除術）データでSeSo事前学習を施しても、ターゲットデータで事前学習した場合と比較してわずかな向上しか得られないため、ドメインシフトに対して強い耐性を示す。
• SeSo事前学習中の検証正確性は、胆嚢切除術でより速く収束しており、その大規模さが自己教師付き学習を支援していることが示唆される。
• 本研究は、右半側大腸切除術および虫垂切除術を含む4つの腹腔鏡手術で手術ステップ認識を分析した初の研究である。