[論文レビュー] LapTool-Net: A Contextual Detector of Surgical Tools in Laparoscopic Videos Based on Recurrent Convolutional Neural Networks

Babak Namazi, Ganesh Sankaranarayanan+1 more|arXiv (Cornell University)|May 22, 2019

Colorectal Cancer Screening and Detection参考文献 42被引用数 8

ひとこと要約

LapTool-Net は、手術用ツールと手術タスクの間の空間的・時間的相関関係をモデル化することで、腹腔鏡動画フレーム内に複数の手術用ツールを検出する文脈に配慮した、エンドツーエンドで学習可能な再帰的畳み込みニューラルネットワーク（RCNN）である。M2CAI データセットにおいて、訓練データの 25% 未満と浅い Inception-V1 バックボーンを用いても、最先端の性能を達成し、mAP 89.11% を記録した。これは、モデルの深さとデータサイズが減少しているにもかかわらず、先行手法を上回ったものである。

ABSTRACT

We propose a new multilabel classifier, called LapTool-Net to detect the presence of surgical tools in each frame of a laparoscopic video. The novelty of LapTool-Net is the exploitation of the correlation among the usage of different tools and, the tools and tasks - namely, the context of the tools' usage. Towards this goal, the pattern in the co-occurrence of the tools is utilized for designing a decision policy for a multilabel classifier based on a Recurrent Convolutional Neural Network (RCNN) architecture to simultaneously extract the spatio-temporal features. In contrast to the previous multilabel classification methods, the RCNN and the decision model are trained in an end-to-end manner using a multitask learning scheme. To overcome the high imbalance and avoid overfitting caused by the lack of variety in the training data, a high down-sampling rate is chosen based on the more frequent combinations. Furthermore, at the post-processing step, the prediction for all the frames of a video are corrected by designing a bi-directional RNN to model the long-term task's order. LapTool-net was trained using a publicly available dataset of laparoscopic cholecystectomy. The results show LapTool-Net outperforms existing methods significantly, even while using fewer training samples and a shallower architecture.

研究の動機と目的

• 腹腔鏡動画内の複数の手術用ツールを自動でリアルタイムに検出するシステムを開発し、手動による動画評価への依存を低減すること。
• 腹腔鏡動画解析における多ラベル分類、運動ブラー、カメラジッター、ツールの同時出現パターンといった課題に対処すること。
• ツール使用と手術タスクの順序との間の文脈的関係をモデル化することで、検出精度を向上させること。
• 頻度の高いツールの組み合わせに基づくアンダーサンプリングと論理プログラミングに基づく意思決定層を用いて、過学習とデータの不均衡を低減すること。
• 最小限の訓練データで高い性能を示すことで、迅速なラベル付けパイプラインを可能にする。

提案手法

• 再帰的畳み込みニューラルネットワーク（RCNN）を用いて、動画フレームから空間的・時間的特徴を同時に抽出し、ツールの外観と時間的ダイナミクスの両方を捉える。
• 論理プログラミング（LP）に基づく意思決定層を RCNN に統合し、エンドツーエンド学習中に複数ラベルの相関関係をモデル化し、ツールの同時出現パターンの整合性を保証する。
• データセットの極めて不均衡な分布を緩和し、過学習を低減するために、ツールの組み合わせの頻度に基づいたアンダーサンプリング戦略を適用する。
• 推論時に双方向 RNN を適用し、長期間のタスク順序と時間的一致性をモデル化することで、動画の全フレームにわたる予測を精緻化する。
• 特徴抽出と意思決定論理の両方を同時に最適化するマルチタスク学習スキームを用いて、エンドツーエンドで全システムを学習する。
• M2CAI データセットを用いてモデルを評価し、mAP と F1-macro スコアを指標として性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 ツール使用と手術タスクの順序との間の文脈的関係をモデル化することで、腹腔鏡動画における多ラベル検出精度を向上させられるか？
• RQ2 論理プログラミングに基づく意思決定層を備えた RCNN のエンドツーエンド学習は、従来の多ラベル分類手法と比較して一般化性能とデータ効率に優れているか？
• RQ3 ツールの同時出現パターンに基づく高頻度のアンダーサンプリングは、手術動画データセットにおけるデータの不均衡と過学習をどの程度緩和できるか？
• RQ4 長期間のタスク順序をモデル化することで、双方向 RNN はフレーム間の予測の一貫性を向上させられるか？
• RQ5 文脈に配慮した学習と後処理を組み合わせた浅い CNN アーキテクチャが、最先端の性能を達成できるか？

主な発見

• LapTool-Net は M2CAI データセットで平均平均精度（mAP）89.11% を達成し、先行手法を顕著に上回った。
• RCNN コンponent のみを用いても、F1-macro スコア 81.95% を達成し、強力な多ラベル分類性能を示した。
• 訓練フレームの 24.6%（全フレームの 1% 未満）しか使用しなかったにもかかわらず、ResNet-101 や Inception-V3 といったより深いネットワークを用いた手法を上回った。
• ツールの組み合わせ頻度に基づくアンダーサンプリングの導入により、過学習が軽減され、一般化性能が向上した。特に動画内フレームの相関が強い状況で顕著であった。
• 双方向 RNN の後処理ステップにより、動画シーケンス全体での予測の一貫性が向上し、時間的一致性が向上した。
• 1 フレームあたり 0.01 秒未満のリアルタイム推論が可能であり、手術中のオンラインフィードバックに適している。