[論文レビュー] Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective

Chenyu You, Weicheng Dai+6 more|PubMed|Feb 3, 2023

Radiomics and Machine Learning in Medical Imaging参考文献 27被引用数 62

ひとこと要約

ARCO は、勾配推定の分散を低減する分散削減ベースの層別グループサンプリングを半教師付き医用画像分割に導入し、勾配推定の分散を低減することで、複数のデータセットにわたる頑健性とラベル効率を改善します。

ABSTRACT

For medical image segmentation, contrastive learning is the dominant practice to improve the quality of visual representations by contrasting semantically similar and dissimilar pairs of samples. This is enabled by the observation that without accessing ground truth labels, negative examples with truly dissimilar anatomical features, if sampled, can significantly improve the performance. In reality, however, these samples may come from similar anatomical regions and the models may struggle to distinguish the minority tail-class samples, making the tail classes more prone to misclassification, both of which typically lead to model collapse. In this paper, we propose ARCO, a semi-supervised contrastive learning (CL) framework with stratified group theory for medical image segmentation. In particular, we first propose building ARCO through the concept of variance-reduced estimation and show that certain variance-reduction techniques are particularly beneficial in pixel/voxel-level segmentation tasks with extremely limited labels. Furthermore, we theoretically prove these sampling techniques are universal in variance reduction. Finally, we experimentally validate our approaches on eight benchmarks, <i>i.e</i>., five 2D/3D medical and three semantic segmentation datasets, with different label settings, and our methods consistently outperform state-of-the-art semi-supervised methods. Additionally, we augment the CL frameworks with these sampling techniques and demonstrate significant gains over previous methods. We believe our work is an important step towards semi-supervised medical image segmentation by quantifying the limitation of current self-supervision objectives for accomplishing such challenging safety-critical tasks.

研究の動機と目的

• 極めて限られたラベルで、半教師付き医用画像分割における頑健性とラベル効率を高める。
• 対比学習を導くピクセル/ボクセル選択を指示する分散削減サンプリングフレームワークを開発する。
• 勾配分散と収束を改善するため、Stratified Group (SG) サンプリングと Stratified-Antithetic Group (SAG) サンプリングを提案する。
• 2D/3D 医用およびセマンティック分割ベンチマークにおいて、データセット間・アーキテクチャ間の頑健性と競争力のある性能を示す。

提案手法

• ARCO を、分散削減推定に基づく半教師付き対比学習フレームワークとして定式化する。
• クラスベースのグリッドに画像を分割し、各グリッド内でサンプリングすることで Stratified Group (SG) サンプリングを導入する。
• 対称性制約を介して分散をさらに低減するため、SG を Stratified-Antithetic Group (SAG) で拡張する。
• 無偏性と分散削減（SG/SAG）を、ナイーブサンプリングと比較して理論的に保証する。
• ARCO を MONA 風のリレーショナル事前学習と解剖学的対比微調整と統合し、頑健で尾部対応した表現を学習する。

Figure 1: Pipeline overview. Our semi-supervised segmentation model $F$ takes a 2D/3D medical image $x$ as input and outputs the segmentation map and the representation map. We leverage a simplification of MONA pipeline [ 17 ] which is composed of two stages: (1) relational semi-supervised pre-train

実験結果

リサーチクエスチョン

• RQ1 極端なラベル不足の下で、分散削減サンプリングは半教師付き医用画像分割の頑健性と収束性を向上させることができるだろうか？
• RQ2 SG および SAG はピクセル/ボクセルレベルの対比学習において無偏かつ分散の小さい勾配推定を提供しますか？
• RQ3 異なるラベル比率を持つ多様な2D/3D医用およびセマンティック分割ベンチマークにおいて、ARCO はどのように性能を示しますか？
• RQ4 既存のSSLフレームワークに ARCO を組み込むと、分割精度と境界描写の一貫した向上をもたらしますか？

主な発見

• ARCO 手法は8つのベンチマークと複数のラベル比で優れた分割性能を達成し、最先端の SSL 手法を上回ります。
• ARCO-SG および ARCO-SAG は MONA を 1%、5%、10% のラベル設定で顕著な Dice スコアの向上を示します（報告ケースで相対的 Dice が約0.3%–4.1%程度改善）。
• 理論的には、SG は無偏で Naive Sampling より分散が大きくならない、SAG の分散は SG の2倍の要因以下である、普遍的な分散削減の利点を示す。
• 実証結果は、勾配分散の低減により収束が速く安定した学習を示し、解剖学的構造の境界精度が向上することを示す。
• 主要な主張結果として、セグメンテーション頑健性ベンチマークで Dice が最大で絶対値11.08% 向上。

Figure 2: Overview of three sampling methods. (1) Naïve Sampling, (2) Stratified Group Sampling, and (3) Stratified-Antithetic Group Sampling.