[論文レビュー] Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation

Chenyu You, Weicheng Dai+3 more|arXiv (Cornell University)|Jun 6, 2022

Medical Imaging and Analysis被引用数 7

ひとこと要約

ACTIONは、負例のソフトラベル化とハードネガティブピクセルのアクティブサンプリングを用いる解剖学的注意型対照的 distillation フレームワークを提案し、不均衡なデータセットにおける半教師付き医療画像セグメンテーションの性能を向上させる。ACDCおよびLiTSデータセットにおいて最先端の手法を上回り、わずか3%のラベル付きデータでACDCで87.5%のDiceスコアを達成する。

ABSTRACT

Contrastive learning has shown great promise over annotation scarcity problems in the context of medical image segmentation. Existing approaches typically assume a balanced class distribution for both labeled and unlabeled medical images. However, medical image data in reality is commonly imbalanced (i.e., multi-class label imbalance), which naturally yields blurry contours and usually incorrectly labels rare objects. Moreover, it remains unclear whether all negative samples are equally negative. In this work, we present ACTION, an Anatomical-aware ConTrastive dIstillatiON framework, for semi-supervised medical image segmentation. Specifically, we first develop an iterative contrastive distillation algorithm by softly labeling the negatives rather than binary supervision between positive and negative pairs. We also capture more semantically similar features from the randomly chosen negative set compared to the positives to enforce the diversity of the sampled data. Second, we raise a more important question: Can we really handle imbalanced samples to yield better performance? Hence, the key innovation in ACTION is to learn global semantic relationship across the entire dataset and local anatomical features among the neighbouring pixels with minimal additional memory footprint. During the training, we introduce anatomical contrast by actively sampling a sparse set of hard negative pixels, which can generate smoother segmentation boundaries and more accurate predictions. Extensive experiments across two benchmark datasets and different unlabeled settings show that ACTION significantly outperforms the current state-of-the-art semi-supervised methods.

研究の動機と目的

• データ分布の偏りにより、まれな構造物が誤分類されがちな医療画像セグメンテーションにおけるクラス不均衡の課題に対処すること。
• 標準的な対照的学習がすべてのネガティブサンプルを同等に扱うため、誤ったネガティブ例を導入する可能性があるという限界を克服すること。
• グローバルに一貫した表現を学習しつつも、局所的な解剖学的特徴を保持することで、セグメンテーション品質を向上させること。
• トレーニング中にクエリ-キー対のスパースセットを用いたアクティブサンプリングにより、メモリおよび計算コストを低減すること。
• 低監視設定下で既存の半教師付き手法を上回る、強固でスケーラブルなフレームワークの開発

提案手法

• 教師モデルがメモリバンク内の解剖学的に類似したアンカーを基に、ネガティブサンプルをソフトラベル化する反復的対照的 distillation パイプラインを導入する。
• 第2段階で局所的対照的 distillation を適用し、意味的に類似しているが同一でないネガティブ例をサンプリングすることで、特徴の多様性を向上させる。
• アクティブサンプリングによりスパースでハードなネガティブピクセルを選択し、クエリ特徴をそのクラスの平均（ポジティブキー）に引き寄せ、他のクラス（ネガティブキー）から遠ざける「AnCo（解剖学的対照）損失」を設計する。
• トレーニングの安定化と一般化性能の向上を図るため、教師には弱いオーグメンテーション、学生には強いオーグメンテーションを適用する。
• 第3段階で、信頼度しきい値を設定した疑似ラベルに対する交差エントロピー損失を統合し、予測を精緻化して性能を向上させる。
• 完全な特徴の保存を避けることでメモリフットプリントを最小限に抑え、代わりに動的サンプリングとモーメンタムベースのターゲットネットワーク更新に依存する。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプルのソフトラベリングは、半教師付き医療画像セグメンテーションにおける表現学習を改善できるか？
• RQ2 解剖学的にハードなネガティブピクセルのアクティブサンプリングは、不均衡なデータセットにおけるより鋭いセグメンテーション境界と高い性能をもたらすか？
• RQ3 グローバルな意味的関係と局所的な解剖学的特徴の両方をモデル化する対照的 distillation フレームワークは、最小限のメモリオーバーヘッドで優れた性能を達成できるか？
• RQ4 提案された解剖学的対照損失（AnCo）は、標準的な対照的学習と比較して、医療画像におけるクラス不均衡をどのように処理できるか？
• RQ5 ソフトラベリング、局所的 distillation、および解剖学的対照の組み合わせは、低ラベルレジーム下でセグメンテーション精度をどの程度向上させるか？

主な発見

• ACTIONは、ACDCデータセットでわずか3%のラベル付きデータで87.5%のDiceスコアを達成し、教師ありベースライン（89.2%のDice）およびすべての最先端のSSL手法を大きく上回る。
• LiTSデータセットでは、5%および10%のラベル付きデータ設定の両方で最高の性能を示し、先行手法を大きく上回るDiceスコアを達成する。
• アブレーションスタディの結果、ランダムサンプリングの画像、局所的 distillation、解剖学的対照のいずれかのモジュールを除去すると、顕著な性能低下が生じ、各モジュールの必要性が確認された。
• 教師に弱いオーグメンテーション、学生に強いオーグメンテーションを適用した組み合わせが最良の性能をもたらし、安定性と多様性の最適なトレードオフが実現された。
• ACTIONは、特にRVおよびMyoのような小規模でまれな構造物において、より鋭く正確なセグメンテーション境界を生成する。これは定性的な結果でも視覚的に確認された。
• ACDCでは低SAD（1.12ボクセル）を達成し、境界の局所化精度が非常に高いことを示し、さまざまな未ラベルデータ比においても頑健性を維持する。