[論文レビュー] Pixel-Wise Recognition for Holistic Surgical Scene Understanding

Nicolás Ayobi, Santiago Rodríguez+9 more|arXiv (Cornell University)|Jan 20, 2024

Surgical Simulation and Training被引用数 4

ひとこと要約

本稿では、ロボット支援前立腺ectomyにおける包括的外科手技理解のためのマルチスケールベンチマークであるGraSPデータセットを紹介するとともに、TAPISモデル—グローバル動画特徴と局所的器具セグメンテーションを統合したビジョントランスフォーマー・アーキテクチャ—を提案する。このモデルにより、外科的フェーズ、ステップ、器具インスタンス、アトミックアクションの統合的認識が可能となり、全タスクで最先端の性能を達成。ピクセル単位のセグメンテーションが短期的認識を向上させ、階層的タスク関係が全体の精度を向上させることを示した。

ABSTRACT

This paper presents the Holistic and Multi-Granular Surgical Scene Understanding of Prostatectomies (GraSP) dataset, a curated benchmark that models surgical scene understanding as a hierarchy of complementary tasks with varying levels of granularity. Our approach encompasses long-term tasks, such as surgical phase and step recognition, and short-term tasks, including surgical instrument segmentation and atomic visual actions detection. To exploit our proposed benchmark, we introduce the Transformers for Actions, Phases, Steps, and Instrument Segmentation (TAPIS) model, a general architecture that combines a global video feature extractor with localized region proposals from an instrument segmentation model to tackle the multi-granularity of our benchmark. Through extensive experimentation in ours and alternative benchmarks, we demonstrate TAPIS's versatility and state-of-the-art performance across different tasks. This work represents a foundational step forward in Endoscopic Vision, offering a novel framework for future research towards holistic surgical scene understanding.

研究の動機と目的

• 内視鏡視覚における外科的シーン理解のための包括的でマルチスケールのベンチマークの不足に対処すること。
• 高解像度のアノテーション粒度を用いて、長期的（フェーズ、ステップ）および短期的（器具セグメンテーション、アトミックアクション）タスクとして外科手技を階層的にモデル化すること。
• 空間的および時間的粒度の異なる視覚認識の補完的特徴を活用する統一フレームワークの構築。
• ビジョントランスフォーマーとセグメンテーション誘導型認識の有効性を検証し、外科的理解の全レベルで性能向上を実現すること。
• 今後の外科的ワークフロー解析研究のための再現可能で明確な訓練/検証/テスト分割を確立すること。

提案手法

• 外科的フェーズとステップ認識、器具インスタンスセグメンテーション、アトミックビジュアルアクション検出の4つの階層的タスクを備えた、最高の粒度でアノテートされた、キュレートされたベンチマークとしてのGraSPデータセットを提案。
• グローバル動画特徴抽出器と別個の器具セグメンテーションヘッドから得られる局所的領域候補を統合したビジョントランスフォーマー基盤のアーキテクチャであるTAPISモデルを設計。
• 器具セグメンテーションが空間的ヒントを提供することで、アクション検出などの下流の時間的タスクの性能が向上する二重ストリーム学習戦略を採用。
• タスクごとに段階的に細分化された時間的および空間的サンプリングを適用：フェーズ認識には64秒（0.25fps）、ステップ認識には16秒（1fps）、器具認識には8秒（2fps）、アトミックアクションには0.53秒（30fps）。
• 上位レベルのタスク（例：フェーズ認識）の事前学習重みを初期化として用いることで、短時間タスクの性能向上を図るトランスファー・ラーニングを適用。
• 再現可能性とメソッド間の公平な比較を保証するため、訓練、検証、テストの専用セットを明確に定義した標準化されたデータ分割を確立。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の器具セグメンテーションを統合することで、アトミックアクション検出のような短期的外科認識タスクの性能はどのように向上するか？
• RQ2 外科的シーン理解の各レベル（フェーズ、ステップ、器具セグメンテーション、アトミックアクション）に最適な時間的および空間的粒度は何か？
• RQ3 フェーズ認識がステップやアクション検出の性能向上に寄与するような、タスク間の階層的関係は、全体のモデル性能をどの程度向上させるか？
• RQ4 統一されたトランスフォーマー基盤アーキテクチャは、長期的および短期的タスクの両方における外科的シーン理解のマルチスケール性を効果的に処理できるか？
• RQ5 提案手法は、異なる公的ベンチマークにおいてどの程度のロバスト性を示し、GraSPデータセットを超えて一般化可能か？

主な発見

• TAPISはGraSPベンチマークの全4タスクで最先端の性能を達成し、従来のCNNベースのモデルや先行研究のベースラインを上回った。
• 器具セグメンテーションのアノテーションを統合することで、アトミックアクション検出の性能が顕著に向上し、形状レベルの空間的ヒントの価値が裏付けられた。
• フェーズ認識のような上位レベルのタスクは、粗い時間的サンプリング（例：64秒、0.25fps）で十分である一方、アトミックアクション検出のような低レベルタスクは、細分化された時間的処理（0.53秒、30fps）を必要とした。
• フェーズ認識から短時間タスクへのトランスファー・ラーニングにより、性能向上が明確に確認され、外科的理解の各レベル間の階層的依存関係が裏付けられた。
• 複数の公的ベンチマークにおいて一貫した相対的性能を維持したため、モデルのロバスト性と一般化能力が検証された。