[論文レビュー] SegMatch: A semi-supervised learning method for surgical instrument segmentation

Wei Meng, Charlie Budd+4 more|arXiv (Cornell University)|Aug 9, 2023

Medical Imaging and Analysis被引用数 4

ひとこと要約

SegMatchは、空間的および光度的変換における等変性と不変性を組み込み、I-FGSMを用いた学習可能で敵対的な増幅戦略を導入することで、FixMatchを密度予測タスクに適応させた半教師あり学習フレームワークを提案する。ロバスト・ミス2019およびエンドオウズ2017で最先端の性能を達成し、ラベル付きデータをたった30%と未ラベル画像17,000枚を用いて、完全教師あり手法を上回った。

ABSTRACT

Surgical instrument segmentation is recognised as a key enabler in providing advanced surgical assistance and improving computer-assisted interventions. In this work, we propose SegMatch, a semi-supervised learning method to reduce the need for expensive annotation for laparoscopic and robotic surgical images. SegMatch builds on FixMatch, a widespread semi supervised classification pipeline combining consistency regularization and pseudo-labelling, and adapts it for the purpose of segmentation. In our proposed SegMatch, the unlabelled images are first weakly augmented and fed to the segmentation model to generate pseudo-labels. In parallel, images are fed to a strong augmentation branch and consistency between the branches is used as an unsupervised loss. To increase the relevance of our strong augmentations, we depart from using only handcrafted augmentations and introduce a trainable adversarial augmentation strategy. Our FixMatch adaptation for segmentation tasks further includes carefully considering the equivariance and invariance properties of the augmentation functions we rely on. For binary segmentation tasks, our algorithm was evaluated on the MICCAI Instrument Segmentation Challenge datasets, Robust-MIS 2019 and EndoVis 2017. For multi-class segmentation tasks, we relied on the recent CholecInstanceSeg dataset. Our results show that SegMatch outperforms fully-supervised approaches by incorporating unlabelled data, and surpasses a range of state-of-the-art semi-supervised models across different labelled to unlabelled data ratios.

研究の動機と目的

• 外科的インストゥルメントセグメンテーションにおける高価な手動アノテーションへの依存を減らすために、ラパロスコピックおよびロボット支援外科画像の未ラベルデータを活用すること。
• FixMatchの半教師あり分類フレームワークをセマンティックセグメンテーションに適応させ、空間的および光度的変換における等変性と不変性を考慮すること。
• 固定された手作業による強力な増幅を学習可能で敵対的な増幅戦略に置き換えることで、一般化性能と性能を向上させること。
• 選択的未ラベルデータを用いた半教師あり学習が、低データ環境下で完全教師ありベースラインを上回ることを実証すること。

提案手法

• 弱い増幅（例：反転、回転）を用いた1本目のブランチで疑似ラベルを生成し、強い増幅を用いたもう1本のブランチで一貫性正則化を実行するFixMatchの二重ブランチ学習を適応する。
• 空間的変換（例：回転、反転）を適用し、逆変換を用いてセグメンテーションマスクの一貫性を保つことで、等変性を確保する。
• 反復的高速勾配符号法（I-FGSM）をトレーニング可能な強力な増幅として導入し、モデルの頑健性を向上させる敵対的例を生成する。
• 弱く増幅された出力からの高信頼度ピクセルを疑似ラベルとして選別し、強化された増幅ブランチの学習に使用する。
• 干渉の整合性を保ちながら一般化性能を向上させるために、摂動をε近傍内に制限する。
• ラベル付きおよび未ラベル付きデータの混合バッチを用いて、共有のエンコーダ・デコーダバックボーンを学習し、疑似ラベルと強化された増幅予測との間の一貫性損失を最小化する。

Figure 1: Representative sample images from Robust-MIS 2019 of laparoscopic surgery (left) and state-of-the-art instrument segmentation results (right). True positive (yellow), true negative (black), false positive (purple), and false negative (red).

実験結果

リサーチクエスチョン

• RQ1 FixMatchから適応した半教師あり学習フレームワークは、完全教師あり手法と比較して外科的インストゥルメントセグメンテーションで優れた性能を達成できるか？
• RQ2 増幅の等変性および不変性特性が、外科的画像解析におけるセグメンテーション性能に与える影響は何か？
• RQ3 学習可能な敵対的増幅戦略は、固定された手作業による増幅を上回る一般化性能を向上させるか？
• RQ4 低データ環境下で高いセグメンテーション精度を達成するためのラベル付きデータと未ラベル付きデータの最適なバランスは何か？

主な発見

• SegMatchは、ラベル付きデータをたった30%（1,794枚）と未ラベル画像17,000枚を用いて、ロバスト・ミス2019で平均Diceスコア84.9を達成し、完全教師ありベースラインを上回った。
• 1:9および3:7のラベル付き対未ラベル付きデータ比において、複数のラベル付きデータ比で最先端の半教師ありセマンティックセグメンテーションモデルを上回った。
• K=50イテレーションおよびε=0.08で最良の性能（平均Dice 84.9）を達成した。これは反復的敵対的増幅が頑健性を向上させることを示している。
• 性能はε ≈ 0.08でピークに達し、それ以上に増加すると性能が低下した。これは摂動強度とモデル安定性のトレードオフを確認している。
• I-FGSMは1ステップ攻撃（例：FGSM、C&W）を上回り、FGSMよりも高い成功率を示したが、最適εを超えると急激に性能が低下した。
• 敵対的増幅の導入により、特に低データ環境下で、セグメンテーションの一貫性と一般化性能が顕著に向上した。

Figure 2: SegMatch training process structure. The top row is the fully supervised pathway which follows the traditional segmentation model training process. The two bottom rows form the unsupervised learning pathway, where one branch uses a weakly augmented image fed into the model to compute predi