[論文レビュー] Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer

Xiaojie Gao, Yueming Jin+3 more|arXiv (Cornell University)|Mar 17, 2021

Surgical Simulation and Training参考文献 30被引用数 12

ひとこと要約

Trans-SVNet は、空間特徴を ResNet から、時間的特徴を TCN から得て、アテンション機構を用いて融合するハイブリッド埋め込み集約型 Transformer を提案する。91 fps の推論速度を達成し、Cholec80 および M2CAI16 データセットで最先端の性能を発揮する。空間埋め込みを用いて時間的シーケンスを照会することで、顕著なパrameterオーバーヘッドを伴わず、特徴表現を向上させる。

ABSTRACT

Real-time surgical phase recognition is a fundamental task in modern operating rooms. Previous works tackle this task relying on architectures arranged in spatio-temporal order, however, the supportive benefits of intermediate spatial features are not considered. In this paper, we introduce, for the first time in surgical workflow analysis, Transformer to reconsider the ignored complementary effects of spatial and temporal features for accurate surgical phase recognition. Our hybrid embedding aggregation Transformer fuses cleverly designed spatial and temporal embeddings by allowing for active queries based on spatial information from temporal embedding sequences. More importantly, our framework processes the hybrid embeddings in parallel to achieve a high inference speed. Our method is thoroughly validated on two large surgical video datasets, i.e., Cholec80 and M2CAI16 Challenge datasets, and outperforms the state-of-the-art approaches at a processing speed of 91 fps.

研究の動機と目的

• 従来の手法が空間的および時間的特徴を逐次処理するため、重要な視覚的詳細が損なわれるという制限に対処すること。
• Transformer が補完的空間的および時間的特徴を統合する可能性を検証すること。
• リアルタイムの手術室での導入に適した、パrameter効率的で高速なフレームワークを開発すること。
• 空間的特徴が時間的表現を能動的に照会することで、欠落した文脈的詳細を補完し、フェーズ認識の精度を向上させること。
• リアルタイム制約下での大規模な手術動画ベンチマーク（Cholec80 および M2CAI16）において、モデルの優位性を検証すること。

提案手法

• 個々の動画フレームから空間埋め込み $ l_t $ を抽出するために ResNet を使用し、詳細な外観情報の保持を図る。
• TeCNO（マルチステージの TCN）を用いて、長期的な時間的依存関係を捉える時間的埋め込みシーケンス $ g_{t-n+1:t} $ を生成する。
• 空間埋め込み $ l_t $ が時間的埋め込みシーケンス $ g_{t-n+1:t} $ を注目するように、空間的特徴をクエリとして用いる、新規の Transformer ベースの集約モジュールを導入する。これにより、動的特徴の最適化が可能になる。
• ハイブリッド埋め込みを並列処理することで、高い推論速度と計算効率を確保する。
• 学習可能なクエリ、キー、値を用いたマルチヘッド自己注意機構を適用し、空間的および時間的特徴間のクロスモダリティ相互作用をモデル化する。
• アブレーションスタディにより、最適な時間的シーケンス長 $ n = 30 $ を特定し、性能とノイズのバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 空間的特徴を用いて時間的表現を強化することで、Transformer ベースの統合機構が手術フェーズ認識を改善できるか？
• RQ2 空間的特徴を用いて時間的埋め込みを照会することで、逐次的または連結処理よりも優れた性能が得られるか？
• RQ3 提案されたハイブリッド埋め込み集約機構は、最先端のモデルと比較して、精度および推論速度の面で優れているか？
• RQ4 リアルタイム手術動画分析において、性能とノイズのバランスを最適化するための時間的埋め込みシーケンスの最適長さは何か？
• RQ5 提案手法は、Cholec80 や M2CAI16 といった多様な手術動画データセットにおいて、頑健かつ汎用的であるか？

主な発見

• Trans-SVNet は Cholec80 データセットでテスト精度 90.3% を達成し、ベースラインモデル（ResNet: 82.1%、TeCNO: 88.6%）を著しく上回った。
• Cholec80 では Jaccard 指数 79.3% を達成し、手術フェーズ間でのセグメンテーションの一貫性が優れていることを示した。
• 91 fps の処理速度を維持しながら、すべての比較手法を上回るリアルタイム推論能力を発揮した。
• アブレーションスタディの結果、空間埋め込み $ l_t $ を時間的シーケンス $ g_{t-n+1:t} $ のクエリとして用いることで最良の性能が得られ、すべての比較で P 値 < 0.05 を示した。
• ResNet $ \text{cat} $ TeCNO や他の Transformer 変種と比較して一貫した改善が見られ、提案されたアテンションベースの統合戦略の有効性を裏付けた。
• 時間的シーケンス長を 10 から 40 に増加させると、$ n = 30 $ まで性能が向上し、以降は増加が止まることが示され、文脈とノイズの最適なバランスが確認された。