[論文レビュー] MATIS: Masked-Attention Transformers for Surgical Instrument Segmentation

Nicolás Ayobi, Alejandra Pérez-Rondón+2 more|arXiv (Cornell University)|Mar 16, 2023

Surgical Simulation and TrainingMedicine参考文献 34被引用数 3

ひとこと要約

MATISは、マスク化および可変アテンションを用いて正確なインスタンスレベルの領域提案を生成する完全なトランスフォーマーベースの手法を提案する。時間的整合性を向上させるために動画トランスフォーマーモジュールを統合し、Endovis 2017および2018で最先端の性能を達成した。それぞれmIoUは84.26および82.37を記録し、分類性能と時間的整合性の向上により、先行手法を上回った。

ABSTRACT

We propose Masked-Attention Transformers for Surgical Instrument Segmentation (MATIS), a two-stage, fully transformer-based method that leverages modern pixel-wise attention mechanisms for instrument segmentation. MATIS exploits the instance-level nature of the task by employing a masked attention module that generates and classifies a set of fine instrument region proposals. Our method incorporates long-term video-level information through video transformers to improve temporal consistency and enhance mask classification. We validate our approach in the two standard public benchmarks, Endovis 2017 and Endovis 2018. Our experiments demonstrate that MATIS' per-frame baseline outperforms previous state-of-the-art methods and that including our temporal consistency module boosts our model's performance further.

研究の動機と目的

• 手術器具セグメンテーションにおけるピクセル単位分類の限界、特に空間的一致性の欠如とインスタンスレベルの区別が不十分である点を解決すること。
• 微細な領域提案生成のため、マスク化および可変アテンション機構を活用して分類精度を向上させること。
• TAPIRにインspiredしたアーキテクチャを用いて長期間の動画レベル特徴を統合することで、動画シーケンスにおける時間的整合性を向上させること。
• インスタンスに敏感なマスク分類と動画レベルの推論を組み合わせることで、手術器具セグメンテーション分野における新たな最先端のパフォーマンスを確立すること。

提案手法

• MATISは、マルチスケールで可変アテンション特徴を生成するため、スイントランスフォーマーのエンコーダーを備えたMask2Formerベースのバックボーンを採用し、正確なマスク予測を実現する。
• 各器具種別に対して信頼度しきい値を用いて上位k個のマスクを選択するクラス固有の推論戦略を採用し、インスタンスレベルの精度を向上させる。
• 時間的整合性モジュールは、フレームのシーケンスにわたって特徴をプーリングすることで、動画レベルの特徴を統合し、マスク分類を精緻化する。
• 時刻に特化したMLPを導入し、プールされた時間的特徴をセグメンテーション埋め込みとよりよく整合させる。これにより、共同分類性能が向上する。
• 時間的特徴に対して多ラベル分類の監督を適用し、モデルがフレーム間で器具の存在を認識するのを支援する。
• フレーム単位のマスク分類と長距離の動画モデリングを統合することで、手術動画シーケンス全体にわたる堅牢で一貫性のあるセグメンテーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 マスク化および可変アテンションを備えた完全なトランスフォーマーベースアーキテクチャは、CNNベースのモデルを上回る性能を発揮できるか？
• RQ2 長期間の動画レベルの文脈を統合することで、内視鏡手術動画における時間的整合性とセグメンテーション精度はどのように向上するか？
• RQ3 1フレームあたり複数の提案マスクが生成される状況で、インスタンスマスクを選択する最適な推論戦略は何か？
• RQ4 フレーム単位の推論と比較して、時間的および空間的特徴を共同でモデリングすることで、分類性能はどの程度向上するか？
• RQ5 時刻に特化したMLPや存在監視といったアーキテクチャ的要素は、時間経過に伴うマスク分類性能の向上にどの程度寄与するか？

主な発見

• MATISはEndovis 2018でmIoU 84.26を達成し、手術器具セグメンテーション分野における新たな最先端のパフォーマンスを記録した。
• 時間的整合性モジュール（Time MLPと存在監視を併用）を導入したことで、ベースラインと比較してmIoUが1.05ポイント向上した。
• 最良の推論戦略（各クラスごとに上位k個のマスクとクラス固有の信頼度しきい値）により、mIoU 82.37を達成し、一般的なフィルタリングやNMSを上回った。
• 入力ウィンドウサイズが小さいと性能が低下する傾向にあり、堅牢なセグメンテーションには長期間の動画文脈が不可欠であることが示された。
• クラス固有のしきい値とクラス別マスク選択の導入により、学習インスタンスが少ないレアな器具カテゴリの性能が顕著に向上した。
• アブレーションスタディの結果、時刻に特化したMLPと多ラベル存在監視の両方が、時間的整合性と分類精度を最大化するために不可欠であることが確認された。