[論文レビュー] Push the Boundary of SAM: A Pseudo-label Correction Framework for Medical Segmentation

Ziyi Huang, Hongshan Liu+8 more|arXiv (Cornell University)|Aug 2, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、セグメンテーション・アティスト・モデル（SAM）が生成する疑似ラベルの品質を向上させることで、医療画像セグメンテーションの性能を向上させる疑似ラベル補正フレームワークを提案する。ラベル品質評価モジュールと不確実性に基づく自己補正メカニズムを統合することで、ノイズの多いラベルを繰り返し精錬し、セグメンテーションネットワークを再訓練する。エキスパートがアノテートしたマスクを一切必要とせず、最先端の性能を達成する。

ABSTRACT

Segment anything model (SAM) has emerged as the leading approach for zero-shot learning in segmentation tasks, offering the advantage of avoiding pixel-wise annotations. It is particularly appealing in medical image segmentation, where the annotation process is laborious and expertise-demanding. However, the direct application of SAM often yields inferior results compared to conventional fully supervised segmentation networks. An alternative approach is to use SAM as the initial stage to generate pseudo labels for further network training. However, the performance is limited by the quality of pseudo labels. In this paper, we propose a novel label correction framework to push the boundary of SAM-based segmentation. Our model utilizes a label quality evaluation module to distinguish between noisy labels and clean labels. This enables the correction of the noisy labels using an uncertainty-based self-correction module, thereby enriching the clean training set. Finally, we retrain the segmentation network with updated labels to optimize its weights for future predictions. One key advantage of our model is its ability to train deep networks using SAM-generated pseudo labels without relying on a set of expert-level annotations while attaining good segmentation performance. We demonstrate the effectiveness of our proposed model on three public datasets, indicating its ability to improve segmentation accuracy and outperform baseline methods in label correction.

研究の動機と目的

• 医療画像分野におけるゼロショットSAMと完全に教師ありのセグメンテーションモデルとの性能格差を是正すること。
• 下流のセグメンテーション性能を低下させる低品質なSAM生成疑似ラベルの制限を克服すること。
• エキスパートがアノテートしたピクセル単位の正解ラベルに依存せず、セグメンテーション精度を向上させる弱教師ありフレームワークを開発すること。
• 繰り返しラベル補正と再訓練を通じて、SAMが生成する疑似ラベルのみを用いて、深層セグメンテーションネットワークのロバストな訓練を可能にすること。
• 多様な画像モodal（モダリティ）にわたる医療画像セグメンテーションタスクにおいて、ラベルノイズへの一般化性能と耐性を向上させること。

提案手法

• ピクセル単位のアノテーションを一切用いずに、セグメンテーション・アティスト・モデル（SAM）を用いて医療画像の初期疑似ラベルを生成する。
• 予測の信頼度と不確実性に基づいて、クリーンなピクセルとノイズの多いピクセルを区別するラベル品質評価モジュールを導入する。
• 信頼度に応じた再重み付けを用いた不確実性に基づく自己補正モジュールを採用し、繰り返しノイズの多い疑似ラベルを補正する。
• ピクセルレベルと画像レベルの両方で同時に作用するマルチレベル再重み付け戦略を採用し、過学習を抑制し、モデルのロバスト性を向上させる。
• 補正済みの疑似ラベルを用いてセグメンテーションネットワークを再訓練することで、自己改善ループを形成し、モデルの一般化性能を向上させる。
• 更新されたラベルを用いて複数の最適化サイクルを実行できる再訓練モジュールを統合し、収束性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラベル補正フレームワークは、医療画像セグメンテーションにおけるSAMが生成する疑似ラベルの品質を顕著に向上させることができるか？
• RQ2 エキスパートのアノテーションなしで、既存の弱教師あり学習手法に比べて、本手法はノイズの多い疑似ラベルの補正においてどのように優れているか？
• RQ3 繰り返しラベル補正と再訓練は、多様な医療画像データセットにおいて、どの程度セグメンテーション精度を向上させるか？
• RQ4 逐次的手法と比較して、並列的なマルチレベル再重み付け戦略は、誤差の蓄積を低減し、モデルのロバスト性を向上させるか？
• RQ5 本フレームワークは、X線、CT、超音波などの異なる画像モダリティにわたって、効果的に一般化可能か？

主な発見

• 提案フレームワークは、JSRT X線、肺CT、超音波乳腺がんデータセットの3つの公的医療データセットにおいて、最先端のセグメンテーション性能を達成した。
• SEPL、ADELE、PINTといったベースライン手法と比較して、特に低信頼度およびノイズの多いピクセルの補正において、顕著な性能向上を示した。
• 低重みピクセルを単に破棄するのではなく、保持することで、トレーニングセットを豊かにし、モデルの一般化性能を向上させた。
• 1回の再訓練イテレーションを追加しても、計算コストの増加は最小限に抑えられ、リアルタイム臨床応用に適している。
• 順次的フェーズではなく、並列的な再重み付けを採用することで、PINTを上回る性能を発揮し、誤差伝搬を低減し、効率性を向上させた。
• 異なる画像モダリティにわたる多様な解剖的構造（肺組織や腫瘍領域など）において、強い一般化性能を示した。