[論文レビュー] CycleMix: A Holistic Strategy for Medical Image Segmentation from Scribble Supervision

Ke Zhang, Xiahai Zhuang|arXiv (Cornell University)|Mar 3, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

CycleMixは、スクリッチアノテーションのみを用いて、サイクル整合性のあるミックスアップ増幅を活用することで、モデルの汎化性能と一貫性を向上させる、医療画像セグメンテーションのための画期的な自己教師あり学習フレームワークを提案する。画像の混合によるアノテート済み画素のカバレッジを最大化し、グローバルおよびローカルのサイクル一貫性を強制することで、完全教師ありモデルと同等またはそれ以上の性能を達成し、アノテーションの負担を顕著に低減する。

ABSTRACT

Curating a large set of fully annotated training data can be costly, especially for the tasks of medical image segmentation. Scribble, a weaker form of annotation, is more obtainable in practice, but training segmentation models from limited supervision of scribbles is still challenging. To address the difficulties, we propose a new framework for scribble learning-based medical image segmentation, which is composed of mix augmentation and cycle consistency and thus is referred to as CycleMix. For augmentation of supervision, CycleMix adopts the mixup strategy with a dedicated design of random occlusion, to perform increments and decrements of scribbles. For regularization of supervision, CycleMix intensifies the training objective with consistency losses to penalize inconsistent segmentation, which results in significant improvement of segmentation performance. Results on two open datasets, i.e., ACDC and MSCMRseg, showed that the proposed method achieved exhilarating performance, demonstrating comparable or even better accuracy than the fully-supervised methods. The code and expert-made scribble annotations for MSCMRseg are publicly available at https://github.com/BWGZK/CycleMix.

研究の動機と目的

• スクリッチレベルの監視のみを用いて、医療画像セグメンテーションにおけるアノテーションの負担を軽減すること。
• アノテート済み画素の有効な活用を最大化することで、限定的な監視下でのモデルの汎化性能と耐障害性を向上させること。
• データ増幅と一貫性正則化を統合した包括的な戦略を構築し、セグメンテーション性能を向上させること。
• 最小限の人為的アノテーションから正確なフルセグメンテーション予測を可能にし、密度の高いアノテーションへの依存を減らすこと。

提案手法

• CycleMixは、学習された輸送行列を用いて2つの画像を合成するサイクル整合性のあるミックスアップ戦略を採用し、混合画像におけるアノテート済み画素の数を最大化する。
• モデルは、元のサンプルおよび混合サンプルにおける監視損失に加え、グローバルおよびローカルの一貫性損失を組み合わせた重み付き損失関数を用いることで、構造的一致性を強制する。
• 輸送行列 Π₁ᵀ は、混合画像における局在性を最大化するように最適化され、PuzzleMixにインspiredされた交互最適化スキームが用いられる。
• グローバル一貫性損失は、元画像と再構成画像間での不一致な予測をペナルティ処理するのに対し、ローカル一貫性損失は、分離されたセグメンテーション構造を防止する。
• 損失曲線から示されるように、モデルは200エポック以内に安定した収束を示すエンドツーエンドの訓練が可能である。

(a) The curves of weighted loss functions.

実験結果

リサーチクエスチョン

• RQ1 データミキシングとサイクル一貫性を統合した包括的戦略は、スクリッチ監視下でのセグメンテーション性能を向上させ得るか？
• RQ2 ミックスアップによるアノテート済み画素の割合を増加させることで、モデルの汎化性能と精度にどのような影響を与えるか？
• RQ3 グローバルおよびローカルの一貫性損失は、トレーニングの安定化とセグメンテーション品質の向上に果たす役割は何か？
• RQ4 提案手法が、CRFを用いたTS-UNetなど、既存の自己教師ありアプローチを上回る理由は何か？

主な発見

• CycleMixは、完全教師あり手法と同等またはそれ以上の性能を達成しており、スクリッチアノテーションでの学習でも同様の結果を示す。
• トレーニングプロセスは安定しており、すべての損失成分が200エポック以内に収束しており、信頼性の高い最適化が実現している。
• グローバル一貫性損失（ℒcon-g）は、初期段階で不正確な未ラベル予測のため一時的に増加するが、50エポックを過ぎると減少し、未ラベルデータからの知識蒸留が効果的に機能していることを示唆する。
• ローカル一貫性損失（ℒcon-l）は一貫して低下し、予測における構造的一致性の向上を示している。
• 本手法は、初期提案が不正確であるため自己学習中に誤差伝搬を引き起こす問題を抱えるTS-UNet with CRFを上回っている。

(b) $\mathcal{L}_{\text{mix}}$