[論文レビュー] Temporal Memory Relation Network for Workflow Recognition from Surgical Video

Yueming Jin, Yonghao Long+4 more|arXiv (Cornell University)|Mar 30, 2021

Surgical Simulation and Training参考文献 40被引用数 4

ひとこと要約

本稿では、非局所バンク演算子を介して長距離時系列記憶とマルチスケール時系列畳み込みを統合することで、手術ワークフロー認識を向上させるエンドツーエンドのディーブラーニングモデル、Temporal Memory Relation Network (TMRNet) を提案する。この手法は、SOTA性能を達成し、Cholec80 データセットで 78.9% の Jaccard スコアを記録した。

ABSTRACT

Automatic surgical workflow recognition is a key component for developing context-aware computer-assisted systems in the operating theatre. Previous works either jointly modeled the spatial features with short fixed-range temporal information, or separately learned visual and long temporal cues. In this paper, we propose a novel end-to-end temporal memory relation network (TMRNet) for relating long-range and multi-scale temporal patterns to augment the present features. We establish a long-range memory bank to serve as a memory cell storing the rich supportive information. Through our designed temporal variation layer, the supportive cues are further enhanced by multi-scale temporal-only convolutions. To effectively incorporate the two types of cues without disturbing the joint learning of spatio-temporal features, we introduce a non-local bank operator to attentively relate the past to the present. In this regard, our TMRNet enables the current feature to view the long-range temporal dependency, as well as tolerate complex temporal extents. We have extensively validated our approach on two benchmark surgical video datasets, M2CAI challenge dataset and Cholec80 dataset. Experimental results demonstrate the outstanding performance of our method, consistently exceeding the state-of-the-art methods by a large margin (e.g., 67.0% v.s. 78.9% Jaccard on Cholec80 dataset).

研究の動機と目的

• 長時間にわたる動画における複雑で変動しやすい時系列的ダイナミクスを有する手術ワークフロー認識の課題に対処すること。
• 共同の空間時系列特徴学習を損なうことなく、長距離時系列依存関係とマルチスケールの運動パターンを統合すること。
• 手術室での臨床的デプロイメントに適した効率的でリアルタイム対応可能なモデルを開発すること。
• 異なる持続時間と運動パターンを示す多様な手術フェーズにおいても正確な認識を可能にすること。
• 手術を超えて他の医療分野の時系列データタスクに応用可能な汎用的なフレームワークを提供すること。

提案手法

• 全手術動画から事前に長距離記憶バンクを計算し、オフラインで保存することで、持続的な時系列的ヒントのソースとする。
• 時系列変動層が、記憶バンクから抽出された特徴にマルチスケール時系列畳み込みを適用し、多様な運動持続時間の特徴を強化する。
• 非局所バンク演算子が、現在のフレーム特徴と記憶バンク特徴の間でアテンション重みを計算し、長距離コンテキストモデリングを可能にする。
• 非局所演算をバックボーンネットワークに統合することで、エンドツーエンドの空間時系列学習を損なわず、関連する長距離の手がかりに注目できる。
• 推論中に最新のフレーム特徴を追加することで、記憶バンクをオンラインで更新し、最小限のレイテンシでリアルタイム動作を実現する。
• 後処理を一切行わずエンドツーエンドで学習させることで、1枚のGPUで1フレームあたり約 0.08 秒の高速推論を実現した。

実験結果

リサーチクエスチョン

• RQ1 長距離時系列記憶は、フェーズ内での変動が大きい手術動画ワークフローの認識精度を向上させることができるか？
• RQ2 マルチスケール時系列モデリングは、持続時間が変動する手術フェーズの行動認識をどのように向上させるか？
• RQ3 非局所アテンション機構は、空間時系列表現学習を劣化させることなく、現在の特徴と遠く離れた過去の手がかりを効果的に関連付けることができるか？
• RQ4 手術ワークフロー認識における最適な時系列コンテキスト長は何か？また、ある期間を超えると性能が飽和するか？
• RQ5 提案手法は、長距離時系列モデリングを要する他の医療動画解析タスクへどの程度一般化可能か？

主な発見

• TMRNet は Cholec80 データセットで 78.9% の Jaccard スコアを達成し、前回の SOTA メソッド（67.0%）を顕著に上回った。
• 後処理を組み合わせた場合、Cholec80 で 92.1% の精度、91.1% の再現率、93.7% の正答率を達成し、洗練された SOTA 結果（91.6%、90.1%、93.3%）を上回った。
• コンテキスト長が約 30 秒で性能が飽和し、それ以上の長さでは煙、血液、レンズの清掃などのアーチファクトに起因するノイズが入り込み、わずかな劣化を引き起こした。
• 推論速度が高く（1フレームあたり約 0.08 秒）、臨床現場でのリアルタイムデプロイメントに適している。
• 長距離記憶バンクは一度だけ事前に計算され、再利用されるため、学習中の重複計算を回避できる。
• 他の手術手技への一般化性能が高く、顕微鏡追跡や超音波解析など、非手術的医療動画タスクへの応用も可能である。