[論文レビュー] TUNeS: A Temporal U-Net with Self-Attention for Video-based Surgical Phase Recognition

Isabel Funke, Dominik Rivoir+2 more|arXiv (Cornell University)|Jul 19, 2023

Surgical Simulation and Training被引用数 4

ひとこと要約

TUNeSは、自己注意機構を組み込んだ新しい時系列U-Netを提案し、動画ベースの手術フェーズ認識において、効率的に長距離時系列依存関係をモデル化する。長時間の動画セグメント（最大64フレーム）に対して畳み込みニューラルネットワーク（CNN）特徴抽出器とLSTMを共同で訓練することで、Cholec80データセットにおいて、L=64の文脈を用いたオフラインモードで92.3%の正確性と78.4%のマクロJaccardスコアを達成し、最先端の性能を実現した。

ABSTRACT

Objective: To enable context-aware computer assistance in the operating room of the future, cognitive systems need to understand automatically which surgical phase is being performed by the medical team. The primary source of information for surgical phase recognition is typically video, which presents two challenges: extracting meaningful features from the video stream and effectively modeling temporal information in the sequence of visual features. Methods: For temporal modeling, attention mechanisms have gained popularity due to their ability to capture long-range dependencies. In this paper, we explore design choices for attention in existing temporal models for surgical phase recognition and propose a novel approach that uses attention more effectively and does not require hand-crafted constraints: TUNeS, an efficient and simple temporal model that incorporates self-attention at the core of a convolutional U-Net structure. In addition, we propose to train the feature extractor, a standard CNN, together with an LSTM on preferably long video segments, i.e., with long temporal context. Results: In our experiments, almost all temporal models performed better on top of feature extractors that were trained with longer temporal context. On these contextualized features, TUNeS achieves state-of-the-art results on the Cholec80 dataset. Conclusion: This study offers new insights on how to use attention mechanisms to build accurate and efficient temporal models for surgical phase recognition. Significance: Implementing automatic surgical phase recognition is essential to automate the analysis and optimization of surgical workflows and to enable context-aware computer assistance during surgery, thus ultimately improving patient care.

研究の動機と目的

• 畳み込みU-Netアーキテクチャに自己注意機構を効果的に統合することで、動画ベースの手術フェーズ認識における時系列モデリングを向上させること。
• 視覚的特徴抽出器を長時間の時系列文脈（最大64フレーム）で訓練することで、その後続のフェーズ認識性能に与える影響を調査すること。
• 高い正確性と曖昧なフレームに対する耐性を備えた、オンラインおよびオフライン両方の手術フェーズ認識を可能にするモデルの開発。
• 自己注意機構を手動で設計された制約なしにU-Net構造に効率的に適用できることを示し、長距離依存関係のモデル化を強化すること。
• 文脈特徴と統合された注意強化型時系列モデルを用いて、Cholec80データセットにおいて新たな最先端のベンチマークを確立すること。

提案手法

• TUNeSを提案する。これは、U-Netエンコーダ・デコーダ構造のボトムネック部に自己注意機構を埋め込み、ダウンサンプリングされた意味的豊富な特徴量における長距離時系列依存関係をモデル化する時系列U-Netである。
• 長さL（1、8、または64フレーム）の断片化された動画シーケンス上で、CNN特徴抽出器とLSTMを共同学習の枠組みで統合し、CNNが文脈に依存した表現を学習できるようにする。
• 時系列のダウンサンプリング後に自己注意を適用することで、計算コストを低減しつつも、グローバルな文脈モデリング能力を保持する。
• U-Netに類似したスキップ接続アーキテクチャを採用することで、空間的および時系列的解像度を維持し、特徴再構築とフェーズ予測の正確性を向上させる。
• 訓練中の一般化性と収束性を向上させるために、コサインスケーリング学習率スケジューラーを採用する。
• 標準的な交差エントロピー損失とスムージング損失を用いて、Cholec80データセット上でモデルをエンドツーエンドに訓練し、推論は訓練済みのCNNとTUNeSバックボーンのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 L=64の長時間文脈で視覚的特徴抽出器を訓練することで、単一フレームまたは短いシーケンスでの訓練と比較して、手術フェーズ認識性能が顕著に向上するか？
• RQ2 自己注意機構は、手術動画解析における時系列モデリングの観点から、U-Netベースのアーキテクチャに効果的かつ効率的に統合可能か？
• RQ3 オンラインおよびオフラインの評価モードの両方において、TUNeSは既存の最先端モデルと比較して正確性と耐性に優れているか？
• RQ4 U-Netのボトムネック部における自己注意の使用は、手術プロトコルにおける長距離時系列依存関係モデリングにどの程度向上効果をもたらすか？
• RQ5 長時間の動画セグメント上でCNNとLSTMを共同で訓練することで、フェーズ認識に向けたより判別力があり文脈に依存した特徴が得られるか？

主な発見

• TUNeSは、L=64の文脈を用いたオフラインモードで、Cholec80データセットにおいて92.3%のテスト正確性と78.4%のマクロJaccardスコアを達成した。
• L=64の文脈を用いたモデルが、すべての設定で最高の性能を示し、長文脈学習が特徴品質と認識正確性を顕著に向上させることを示した。
• TUNeSは、オンラインおよびオフラインの両方の評価プロトコルにおいて、TeCNO、ASFormer、SAHCを含むすべてのベースラインモデルを上回り、Cholec80で新たな最先端の性能を確立した。
• 混同行列の結果、行正規化（再現率）および列正規化（適合率）の両方において高い対角成分が観察され、各フェーズの分類性能が強く、誤分類率が低いことが示された。
• コサインスケーリング学習率スケジューラーの使用により性能がさらに向上し、この戦略を組み合わせたTUNeSは、オフラインモードで94.6%の正確性と82.5%のマクロJaccardスコアを達成した。
• すべての時系列モデル、特にTUNeSにおいても、長時間の動画セグメント上でCNNとLSTMを共同で訓練した特徴抽出が、文脈特徴学習の利点を裏付ける結果となった。