[論文レビュー] ZScribbleSeg: Zen and the Art of Scribble Supervised Medical Image Segmentation

Ke Zhang, Xiahai Zhuang|arXiv (Cornell University)|Jan 12, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

ZScribbleSegは、効率的なスクリッチアノテーションと空間的プライアーオリエンテーション正則化を活用することで、最小限のアノテーション作業で最先端の性能を達成する、画期的な弱教師付き医療画像セグメンテーションフレームワークを提案する。ミックスアップ・オクルージョンを用いた多様なスクリッチパターンのシミュレーションと、空間的プライアーオリエンテーションのための新しいクラス混合比推定を導入することで、特に小規模データセットや不規則な構造に対して顕著に分類精度を向上させ、ACDC、MSCMRseg、MyoPS、PPSSデータセットにおいて既存手法を上回る性能を発揮した。

ABSTRACT

Curating a large scale fully-annotated dataset can be both labour-intensive and expertise-demanding, especially for medical images. To alleviate this problem, we propose to utilize solely scribble annotations for weakly supervised segmentation. Existing solutions mainly leverage selective losses computed solely on annotated areas and generate pseudo gold standard segmentation by propagating labels to adjacent areas. However, these methods could suffer from the inaccurate and sometimes unrealistic pseudo segmentation due to the insufficient supervision and incomplete shape features. Different from previous efforts, we first investigate the principle of ''good scribble annotations'', which leads to efficient scribble forms via supervision maximization and randomness simulation. Furthermore, we introduce regularization terms to encode the spatial relationship and shape prior, where a new formulation is developed to estimate the mixture ratios of label classes. These ratios are critical in identifying the unlabeled pixels for each class and correcting erroneous predictions, thus the accurate estimation lays the foundation for the incorporation of spatial prior. Finally, we integrate the efficient scribble supervision with the prior into a unified framework, denoted as ZScribbleSeg, and apply the method to multiple scenarios. Leveraging only scribble annotations, ZScribbleSeg set new state-of-the-arts on four segmentation tasks using ACDC, MSCMRseg, MyoPS and PPSS datasets.

研究の動機と目的

• 完全教師あり医療画像セグメンテーションにおける高いアノテーションコストを低減するため、スクリッチレベルのアノテーションのみで学習を可能にする。
• 特に小規模データセットや不規則に形状をとる病変に対して、弱教師ありセグメンテーションのモデルのロバスト性と精度を向上させる。
• 監視効率を最大化するための効率的なスクリッチアノテーションの生成に、原則的かつ体系的なアプローチを開発する。
• クラス混合比の正確な推定を用いて、空間的および形状的プライアーオリエンテーションをトレーニングプロセスに統合する。
• 完全教師あり手法と同等の性能を、スクリッチアノテーションのみを用いて達成する。

提案手法

• スクリッチパターンの多様性、ランダム性、広範囲性を最大化するため、ミックスアップおよびオクルージョン操作を用いた監視拡張戦略を提案し、アノテーション効率を向上させる。
• 各クラスのラベルクラスの事前分布（π）を正確に特定できるよう、新たなクラス混合比推定手法を導入する。
• マージナル確率と空間的エネルギーに基づく空間的プライアーロスを提案し、不完全な監視による形状の不正確さを是正する。
• 拡張されたスクリッチ監視と空間的プライアーロスを統合した統一フレームワーク、ZScribbleSegを、エンドツーエンドのディープラーニングで訓練する。
• モデルの予測に依存せずに、各クラスに属する未ラベルピクセルの尤度を推定する新しい空間的エネルギー定式化を採用する。
• ZScribbleNetと呼ばれる深層ニューラルネットワークを用い、監視拡張とプライアーベースの正則化の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 『良い』スクリッチアノテーションの特徴とは何か？　すなわち、最小限のアノテーションコストで監視効率を最大化する要因は何か？
• RQ2 手動でのラベル付け作業を増加させることなく、スクリッチからの弱教師付き監視を効果的に拡張する方法は何か？
• RQ3 空間的および形状的プライアーオリエンテーションを弱教師ありセグメンテーションに統合し、不正確な予測を是正するにはどうすればよいか？
• RQ4 クラス混合比（π）の正確な推定は、低監視状態下でのセグメンテーション性能を向上させられるか？
• RQ5 監視拡張とプライアーロス正則化を統合した統一フレームワークは、多様な医療画像および自然画像セグメンテーションタスクに一般化可能か？

主な発見

• ZScribbleSegは、ACDC（86.2% ± 8.6% Dice）、MSCMRseg（87.0% ± 5.8% Dice）、MyoPS（63.6% ± 18.8% Dice）、PPSS（83.8% ± 5.0% Dice）という4つの多様なセグメンテーションタスクでSOTA性能を達成した。
• 小規模なトレーニングセットと不規則な病変を含むMyoPSデータセットでは、CycleMix や ShapePU を含むすべてのベースラインを上回り、困難な状況下でも高いロバスト性を示した。
• MyoPSにおける浮腫セグメンテーションでは、ZScribbleSegは完全教師ありのFullSupUNetと同等のハウスドルフ距離（HD）スコアを達成したが、他の手法は形状推定の悪さにより失敗した。
• 自然画像（PPSS）に対しても一般化がうまくいった。完全教師ありのFullSupUNetと同等のDiceスコアを達成し、この分野におけるスクリッチ監視付きセグメンテーションの新SOTAを樹立した。
• 可視化結果から、複雑なオクルージョン状況下でも、他の弱教師あり手法や完全教師ありベースラインと比較して、ノイズが少なくより現実的で信頼性の高いセグメンテーションを生成した。
• アブレーションスタディの結果、監視拡張と空間的プライアーロス正則化の両方が相乗効果をもたらし、クラス混合比推定が正確な空間的正則化の鍵を握っていることが確認された。