[論文レビュー] Multitask Learning of Temporal Connectionism in Convolutional Networks using a Joint Distribution Loss Function to Simultaneously Identify Tools and Phase in Surgical Videos

Shanka Subhra Mondal, Rachana Sathish+1 more|arXiv (Cornell University)|May 20, 2019

Surgical Simulation and Training参考文献 23被引用数 13

ひとこと要約

本論文は、ResNet-50バックボーンと双方向LSTMを用いたマルチタスク深層学習フレームワークを提案し、手術器具と手術段階の同時検出を実現するための新規重み付き結合分布損失関数を導入する。この手法は、Cholec80データセット上で器具検出のmAPが0.99、段階検出のmAPが0.857という最先端の性能を達成し、器具・段階の共起性を統合的にモデリングし、双方向時系列モデリングにより、従来手法を上回る性能を発揮する。

ABSTRACT

Surgical workflow analysis is of importance for understanding onset and persistence of surgical phases and individual tool usage across surgery and in each phase. It is beneficial for clinical quality control and to hospital administrators for understanding surgery planning. Video acquired during surgery typically can be leveraged for this task. Currently, a combination of convolutional neural network (CNN) and recurrent neural networks (RNN) are popularly used for video analysis in general, not only being restricted to surgical videos. In this paper, we propose a multi-task learning framework using CNN followed by a bi-directional long short term memory (Bi-LSTM) to learn to encapsulate both forward and backward temporal dependencies. Further, the joint distribution indicating set of tools associated with a phase is used as an additional loss during learning to correct for their co-occurrence in any predictions. Experimental evaluation is performed using the Cholec80 dataset. We report a mean average precision (mAP) score of 0.99 and 0.86 for tool and phase identification respectively which are higher compared to prior-art in the field.

研究の動機と目的

• 内視鏡動画における手術器具と手術段階を同時に検出できる統合的深層学習フレームワークの開発。
• 器具と手術段階の共起的依存関係を結合分布損失関数でモデリングすることで、検出性能の向上。
• 前向きおよび後向きの文脈を併用する双方向LSTMを用いて、手術プロセスにおける長期的時系列依存性を捉える。
• データ拡張なしで、不均衡かつ変動する長さの手術動画データに対して頑健な性能を発揮すること。
• ワークフロー分析、品質管理、手術進行状況のモニタリングなどの臨床的応用を可能にすること。

提案手法

• 個々の動画フレームから高レベルの視覚的特徴を抽出するために、ResNet-50畳み込みニューラルネットワークを用いる。
• 特徴量は双方向LSTMに供給され、フレーム間の過去および未来の時系列的依存性をモデリングする。
• 各手術段階に関連する器具セットの確率を符号化するため、新規の重み付き結合分布損失関数を導入する。
• 共有された視覚的特徴量と結合損失関数を用いて、器具検出と段階分類を同時に最適化するマルチタスク学習フレームワークを構築する。
• CNN特徴量のトレーニング前に、特徴量のホワイトニングとフル動画バッチスタッキングを適用し、収束性と性能を向上させる。
• 段階予測に対して中央値フィルタリングを適用し、急激な遷移を低減させ、mAPと正答率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つの深層学習モデルが、精度を向上させながら、手術動画における器具と段階の同時検出を効果的に行えるか。
• RQ2 器具・段階の共起性をモデリングする結合分布損失関数を組み込むことで、検出性能にどのような影響を与えるか。
• RQ3 双方向LSTMによる時系列的文脈モデリングは、単方向または非再帰的モデルと比較して、段階検出性能にどの程度向上効果をもたらすか。
• RQ4 データ拡張なしで、変動する長さの手術段階や不均衡な器具・段階分布に対しても、モデルが十分に一般化可能か。
• RQ5 共有特徴量と結合損失関数を用いたマルチタスクフレームワークは、別々に学習する場合と比較して、収束性と頑健性に優れているか。

主な発見

• 提案手法は、器具検出において平均平均精度（mAP）が0.99を達成し、本分野のすべての先行研究を上回る性能を示した。
• 段階検出においては、mAPが0.857を達成し、大多数の先行手法を上回り、最先端の性能と同等の水準に達した。
• Cholec80データセットにおけるクラス不均衡に対しても、データ拡張なしで高い性能を発揮し、頑健性を示した。
• 双方向LSTMに加え、フル動画バッチスタッキングと特徴量ホワイトニングを適用することで、収束性と性能が顕著に向上した。
• 段階予測に対して中央値フィルタリングを適用することで、急激な遷移を緩和し、mAPと正答率に明確な向上効果が得られた。
• 変動する段階の持続時間や視覚的変化に対しても、フレームワークは良好な一般化性能を示し、強力な時系列的および外観一般化能力を有していることが示された。