[論文レビュー] Single- and Multi-Task Architecture for Surgical Workflow at M2CAI 2016

Andru Putra Twinanda, Didier Mutter+3 more|arXiv (Cornell University)|Oct 27, 2016

Surgical Simulation and Training被引用数 3

ひとこと要約

本論文は、LSTMとHMMを用いた時系列モデリングにより胆嚢切除動画における手術フェーズ認識のための単一およびマルチタスク深層学習アーキテクチャを提案する。LSTMベースのアプローチは、時系列制約を強制する点でHMMを上回り、M2CAI 2016手術ワークフロー・チャレンジデータセットで優れた認識精度を達成した。

ABSTRACT

The surgical workflow challenge at M2CAI 2016 consists of identifying 8 surgical phases in cholecystectomy procedures. Here, we propose to use deep architectures that are based on our previous work where we presented several architectures to perform multiple recognition tasks on laparoscopic videos. In this technical report, we present the phase recognition results using two architectures: (1) a single-task architecture designed to perform solely the surgical phase recognition task and (2) a multi-task architecture designed to perform jointly phase recognition and tool presence detection. On top of these architectures we propose to use two different approaches to enforce the temporal constraints of the surgical workflow: (1) HMM-based and (2) LSTM-based pipelines. The results show that the LSTM-based approach is able to outperform the HMM-based approach and also to properly enforce the temporal constraints into the recognition process.

研究の動機と目的

• 胆嚢切除手術における8つの手術フェーズを認識する課題に、深層学習を用いて対処すること。
• フェーズ認識とツール存在検出の共同学習が性能向上に寄与するかどうかを調査すること。
• 系列モデリング技術を用いて手術フェーズ認識における時系列整合性を強制すること。
• HMMベースとLSTMベースのパイプラインの、時系列制約強制における有効性を比較すること。

提案手法

• 手術フェーズ認識に特化した単一タスクアーキテクチャを提案する。
• フェーズ認識とツール存在検出を同時に実行するマルチタスクアーキテクチャを導入する。
• 手術ワークフローにおける時系列依存性をモデリングするためHMMベースのパイプラインを採用する。
• 動画シーケンスにおける長距離時系列ダイナミクスを捉えるためにLSTMベースのパイプラインを用いる。
• 両方のHMMおよびLSTMパイプラインを、深層ニューラルネットワーク特徴量の上に適用し、時系列モデリングを実施する。
• 腹腔鏡胆嚢切除動画を含むM2CAI 2016手術ワークフローデータセット上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクアーキテクチャは、単一タスク学習と比較して手術フェーズ認識の性能を向上させるか？
• RQ2 フェーズ認識とツール存在検出の共同学習は、時系列モデリングを向上させられるか？
• RQ3 手術フェーズ認識において、LSTMベースの時系列モデリングパイプラインはHMMベースのパイプラインを上回るか？
• RQ4 HMMおよびLSTMパイプラインは、手術ワークフローにおける時系列制約をどの程度効果的に強制できるか？
• RQ5 時系列モデリングは、腹腔鏡動画解析における認識精度にどのような影響を与えるか？

主な発見

• LSTMベースのアプローチは、HMMベースのアプローチを上回り、手術フェーズをよりよく認識できた。
• LSTMパイプラインは、手術ワークフロー認識プロセスにおいて時系列制約を効果的に強制した。
• フェーズ認識とツール存在検出を共同で学習するマルチタスクアーキテクチャは、性能向上を示した。
• 単一タスクアーキテクチャは優れた結果を達成したが、マルチタスクバージョンはさらに認識精度を向上させた。
• LSTMを用いた時系列モデリングにより、動画シーケンス全体で一貫性があり、正確なフェーズ予測が可能になった。
• 結果から、LSTMベースの時系列モデリングを用いた深層学習は、手術ワークフロー解析に有効であることが示された。