[論文レビュー] Inherent Consistent Learning for Accurate Semi-supervised Medical Image Segmentation

Ye Zhu, Jie Yang+2 more|arXiv (Cornell University)|Mar 24, 2023

Advanced Neural Network Applications被引用数 10

ひとこと要約

本論文は semi-supervised 医療画像セグメンテーションのための Inherent Consistent Learning (ICL) を導入し、ラベル付きデータとラベルなしデータを用いてセマンティックカテゴリ表現を整合させ更新する2つのプラグアンドプレイモジュール（SSPA と USCL）を提案します。

ABSTRACT

Semi-supervised medical image segmentation has attracted much attention in recent years because of the high cost of medical image annotations. In this paper, we propose a novel Inherent Consistent Learning (ICL) method, aims to learn robust semantic category representations through the semantic consistency guidance of labeled and unlabeled data to help segmentation. In practice, we introduce two external modules, namely Supervised Semantic Proxy Adaptor (SSPA) and Unsupervised Semantic Consistent Learner (USCL) that is based on the attention mechanism to align the semantic category representations of labeled and unlabeled data, as well as update the global semantic representations over the entire training set. The proposed ICL is a plug-and-play scheme for various network architectures, and the two modules are not involved in the testing stage. Experimental results on three public benchmarks show that the proposed method can outperform the state-of-the-art, especially when the number of annotated data is extremely limited. Code is available at: https://github.com/zhuye98/ICL.git.

研究の動機と目的

• 医療画像セグメンテーションにおける注釈コスト削減を、ラベルなしデータを活用して動機づける。
• ラベル付きデータとラベルなしデータ間のセマンティック一貫性を通じて頑健なセマンティックカテゴリ表現を学習する。
• さまざまなバックボーンネットワークに対応可能なプラグアンドプレイフレームワークを提供する。
• 訓練時に学習を導く2つの外部モジュールを導入するが、テスト時には破棄する。

提案手法

• Inherent Consistent Learning (ICL) を提案し、ラベル付きデータとラベルなしデータを用いて頑健なカテゴリ表現を漸進的に学習する。
• 複数スケールでカテゴリ間の鑑別性を保持するよう初期化・更新される Semantic-aware proxies を導入する。
• Attention 機構に基づく二つのモジュールを設計する。SSPA（Supervised Semantic Proxy Adaptor）と USCL（Unsupervised Semantic Consistent Learner）。
• SSPA はトークン化された特徴と proxies の間でクロスアテンションを行い、セマンティック対応の注意マップを生成してセグメンテーションに寄与する。
• USCL は proxy を用いて未ラベルデータ上のセマンティックガイド付き注意マップを導き、メインネットワークとスケールを跨ぐ一貫性を課す。
• ラベル付きデータ上の監視付きセグメンテーション損失と、未ラベルデータ上のセマンティックガイド予測間の一貫性項を含む結合目的関数で最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータ間の inherent semantic consistency は、semi-supervised medical image segmentation を改善できるか。
• RQ2 提案された SSPA と USCL モジュールは、スケールを跨るグローバルなセマンティック表現を効果的に整合・更新できるか。
• RQ3 ICL は異なるネットワークアーキテクチャ間でプラグアンドプレイとして適用可能で、テスト時には単純さを維持できるか。
• RQ4 公開ベンチマークにおいて、非常に限られたラベルデータでの性能はどうか。
• RQ5 低ラベル領域において、最先端の semi-supervised 手法と比較して本フレームワークは優れた結果を示すか。

主な発見

• ICL は公開ベンチマークの半教師付きセグメンテーション手法を上回り、ラベルデータが極めて少ない場合に特に強力である。
• フレームワークは複数のネットワークバックボーン（CNNベースおよび Transformerベース）とスケールでセグメンテーション品質の改善を示す。
• SSPA と USCL は訓練時に有効なセマンティック整合と一貫性ガイダンスを提供し、テスト時には破棄されるためモデルの単純さを維持する。
• ACDC と AMOS に関する実験は、難しい前景/背景の識別や小〜中規模の臓器に対してセグメンテーション精度と頑健性の顕著な向上を示す。