[論文レビュー] Multi-Task Recurrent Convolutional Network with Correlation Loss for Surgical Video Analysis

Yueming Jin, Huaxia Li+5 more|arXiv (Cornell University)|Jul 13, 2019

Surgical Simulation and Training参考文献 51被引用数 8

ひとこと要約

本稿では、動画内で外科的手術用具の検出と手術フェーズの認識を同時に実行するための、新しい相関損失を備えたマルチタスク再帰的畳み込みネットワーク、MTRCNet-CLを提案する。早期特徴の共有と学習可能な相関損失による予測の一貫性の強制により、2つのタスクを同時に向上させ、Cholec80データセットにおいて工具検出で89.1%のmAP、フェーズ認識で87.4%のF1スコアを達成し、最先端の性能を実現した。

ABSTRACT

Surgical tool presence detection and surgical phase recognition are two fundamental yet challenging tasks in surgical video analysis and also very essential components in various applications in modern operating rooms. While these two analysis tasks are highly correlated in clinical practice as the surgical process is well-defined, most previous methods tackled them separately, without making full use of their relatedness. In this paper, we present a novel method by developing a multi-task recurrent convolutional network with correlation loss (MTRCNet-CL) to exploit their relatedness to simultaneously boost the performance of both tasks. Specifically, our proposed MTRCNet-CL model has an end-to-end architecture with two branches, which share earlier feature encoders to extract general visual features while holding respective higher layers targeting for specific tasks. Given that temporal information is crucial for phase recognition, long-short term memory (LSTM) is explored to model the sequential dependencies in the phase recognition branch. More importantly, a novel and effective correlation loss is designed to model the relatedness between tool presence and phase identification of each video frame, by minimizing the divergence of predictions from the two branches. Mutually leveraging both low-level feature sharing and high-level prediction correlating, our MTRCNet-CL method can encourage the interactions between the two tasks to a large extent, and hence can bring about benefits to each other. Extensive experiments on a large surgical video dataset (Cholec80) demonstrate outstanding performance of our proposed method, consistently exceeding the state-of-the-art methods by a large margin (e.g., 89.1% v.s. 81.0% for the mAP in tool presence detection and 87.4% v.s. 84.5% for F1 score in phase recognition). The code can be found on our project website.

研究の動機と目的

• 複雑な視覚的変化や隠蔽要因による外科動画解析の性能低下という課題に対処する。
• 外科的工具の使用とフェーズ進行の強い臨床的相関を活用し、2つのタスクを同時に改善する。
• 工具の存在検出と手術フェーズ認識を統合的に最適化するエンドツーエンドのディープラーニングフレームワークを構築する。
• 2つのタスクの予測の一貫性を強制するための新しい相関損失を導入し、相互監視を強化する。
• 後処理に依存せず、臨床現場でのリアルタイム導入を可能にする最先端の性能を達成する。

提案手法

• 工具検出とフェーズ認識のためのタスク固有の上位層を持つ、共有された初期畳み込み層を有するマルチタスクネットワークを設計する。
• フェーズ認識ブランチに長短期記憶（LSTM）ユニットを統合し、動画フレーム間の時間的依存性をモデル化する。
• フレームレベルでの2つのタスクの予測の乖離を最小化するための学習可能なマッピング行列を備えた相関損失を提案する。
• 相関損失がタスク間の予測の整合性を促進するように、共同監視のもとでネットワーク全体をエンドツーエンドに訓練する。
• 計算効率を高め、より迅速な推論を可能にするためにアーキテクチャを簡素化し、1つのGPUで1フレームあたり約0.3秒のリアルタイム処理を実現する。
• 工具の存在と手術フェーズの両方について密なアノテーションが付与されたCholec80データセットを、訓練および評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 工具検出とフェーズ認識の共同学習は、独立したモデルとは異なり、性能をさらに向上させることができるか？
• RQ2 学習可能な相関損失は、2つの強く関連する外科的タスクの予測の一貫性を強制するのにどの程度有効か？
• RQ3 特徴の共有と予測の相関は、困難な視覚的条件下での外科動画解析における一般化性能をどの程度向上させるか？
• RQ4 本手法は、後処理や追加のデータオーグメンテーションに依存せず、最先端の結果を達成できるか？
• RQ5 本フレームワークは、類似したタスク相関を示す他の外科動画タイプに対しても拡張可能か？

主な発見

• 提案されたMTRCNet-CLは、外科的工具の存在検出で89.1%のmAPを達成し、以前の最先端手法の81.0%を顕著に上回った。
• 手術フェーズ認識においては、F1スコアが87.4%に達し、前回の最先端手法の84.5%を上回った。
• 後処理を一切行わず、相関損失を用いたエンドツーエンド学習の有効性を示した。
• 相関損失により、共有された監視を通じたタスク間の相互作用が促進され、一般化性能が向上した。
• 1つのGPUで1フレームあたり約0.3秒の処理速度を達成し、手術室アプリケーションにおけるリアルタイム導入が可能になった。
• 事前知識推論（PKI）を適用しても本手法は有効であり、91.6%の精度、90.1%の再現率、93.3%の正答率を達成し、以前の結果を上回った。