[論文レビュー] ST-MTL: Spatio-Temporal Multitask Learning Model to Predict Scanpath While Tracking Instruments in Robotic Surgery

Mobarakol Islam, Vibashan VS+2 more|PubMed|Dec 10, 2021

Surgical Simulation and Training参考文献 56被引用数 7

ひとこと要約

本論文は、ロボット手術におけるリアルタイム手術器具セグメンテーションとタスクに適したサリエンシー検出を統合的に行うエンドツーエンドの空間的・時系列的マルチタスク学習モデル、ST-MTLを提案する。非同期空間的・時系列的最適化（ASTO）、競争的 squeeze-and-excitationモジュール（SC-scSE）、および長距離時系列モデリングに適した変更版 ConvLSTM++ を導入することで、MICCAI 2017 ロボット手術器具セグメンテーションチャレンジにおいて、二値セグメンテーションおよびタイプセグメンテーションの両指標で、全体の優勝者を上回る最先端の性能を達成した。

ABSTRACT

Representation learning of the task-oriented attention while tracking instrument holds vast potential in image-guided robotic surgery. Incorporating cognitive ability to automate the camera control enables the surgeon to concentrate more on dealing with surgical instruments. The objective is to reduce the operation time and facilitate the surgery for both surgeons and patients. We propose an end-to-end trainable Spatio-Temporal Multi-Task Learning (ST-MTL) model with a shared encoder and spatio-temporal decoders for the real-time surgical instrument segmentation and task-oriented saliency detection. In the MTL model of shared-parameters, optimizing multiple loss functions into a convergence point is still an open challenge. We tackle the problem with a novel asynchronous spatio-temporal optimization (ASTO) technique by calculating independent gradients for each decoder. We also design a competitive squeeze and excitation unit by casting a skip connection that retains weak features, excites strong features, and performs dynamic spatial and channel-wise feature recalibration. To capture better long term spatio-temporal dependencies, we enhance the long-short term memory (LSTM) module by concatenating high-level encoder features of consecutive frames. We also introduce Sinkhorn regularized loss to enhance task-oriented saliency detection by preserving computational efficiency. We generate the task-aware saliency maps and scanpath of the instruments on the dataset of the MICCAI 2017 robotic instrument segmentation challenge. Compared to the state-of-the-art segmentation and saliency methods, our model outperforms most of the evaluation metrics and produces an outstanding performance in the challenge.

研究の動機と目的

• 予測スキャンパスモデリングによるエンドスコープカメラ制御の自動化により、ロボット手術における外科医の作業負荷を低減すること。
• 外科動画解析のための共有エンコーダーを用いたマルチタスク学習における、複数タスクの収束問題に対処すること。
• 複雑で動的な外科環境における正確なサリエンシーとセグメンテーションを実現するための長距離空間的・時系列的特徴抽出を向上させること。
• 人間の視覚的注意に類似した、タスクに適したサリエンシー地図とスキャンパスを生成すること。
• MICCAI 2017 ロボット手術器具セグメンテーションベンチマークにおいて、最先端の手法を上回ること。

提案手法

• モデルは、手術器具セグメンテーションとサリエンシー検出のためのタスク固有のデコーダーを備えた共有エンコーダーを採用する。
• 非同期空間的・時系列的最適化（ASTO）は、各デコーダーに対して独立した勾配を計算することで、共有パラメータがあるにもかかわらず、安定したマルチタスク収束を可能にする。
• 競争的 squeeze-and-excitation（SC-scSE）モジュールは、スキップ接続を用いて空間的およびチャネルワイドの特徴を動的に再キャリブレーションすることで、特徴表現を強化する。
• ConvLSTM++ は、連続フレームからの高レベルエンコーダー特徴を連結してからLSTMに供給することで、長距離時系列依存性を向上させる。
• サリエンシー検出には、バイナリクロスエントロピー（BCE）とSinkhorn距離（Sd）を組み合わせたファージョン損失を用いることで、計算効率を維持しながらスキャンパス推定を強化する。
• モデルは、MICCAI 2017 ロボット手術器具セグメンテーションデータセットで訓練および評価され、サリエンシー性能はSALICONで検証される。

実験結果

リサーチクエスチョン

• RQ1 共有エンコーダーを用いたマルチタスク学習フレームワークは、リアルタイムに手術器具セグメンテーションとタスクに適したサリエンシーを効果的に予測できるか？
• RQ2 セグメンテーションとサリエンシーのタスクの両方で共有パラメータを最適化する際、マルチタスク収束をどのように改善できるか？
• RQ3 長距離空間的・時系列的依存性を組み込むことで、スキャンパス予測の正確性はどの程度向上するか？
• RQ4 競争的特徴再キャリブレーション機構（SC-scSE）は、標準のsqueeze-and-excitationモジュールと比較してモデル性能を向上させられるか？
• RQ5 BCE と Sinkhorn距離損失の統合は、外科動画解析において標準の損失関数よりも優れたサリエンシー検出を達成できるか？

主な発見

• ST-MTL モデルは、MICCAI 2017 ロボット手術器具セグメンテーションチャレンジの全体優勝者を、二値セグメンテーションおよびタイプセグメンテーションの両指標で上回った。
• ASTO はマルチタスク収束問題を効果的に解決し、共有エンコーダーと独立したデコーダー最適化を可能にする安定した学習を実現した。
• SC-scSE モジュールは、スキップ接続を介して強い特徴を強調するとともに弱い特徴を保持することで、特徴の区別能を著しく向上させた。
• ConvLSTM++ は長距離時系列モデリングを向上させ、タスク指向のサリエンシーとスキャンパス予測に顕著な改善をもたらした。
• BCE と Sinkhorn距離（Sd）を組み合わせたファージョン損失は、高い計算効率を維持しながら競争的な性能を達成し、バッチ・ウォッシャーマン距離損失よりも推論速度が速かった。
• SALICONベンチマークでは、AUC-B（0.821）、sAUC（0.752）、CC（0.718）という優れた結果を達成し、静的サリエンシータスクにおける強い汎化能力を示した。