[論文レビュー] FixMatchSeg: Fixing FixMatch for Semi-Supervised Semantic Segmentation

Pratima Upretee, Bishesh Khanal|arXiv (Cornell University)|Jul 31, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 7

ひとこと要約

FixMatchSeg は、強力なデータ増強を用いた一貫性正則化と仮ラベル付けを適用することで、FixMatch の半教師あり分類フレームワークを医療画像におけるセマンティックセグメンテーションに適応した。4つの多様な医療画像データセットにおいて、わずかな数のラベル付き画像のみを用いても、教師ありベースラインと同等の性能を達成し、特にラベル付き画像が少ない状況で顕著な向上を示した。特に、REFUGE 眼底画像データセットでは、Dice スコアで教師ありベースラインを最大27%上回った。

ABSTRACT

Supervised deep learning methods for semantic medical image segmentation are getting increasingly popular in the past few years.However, in resource constrained settings, getting large number of annotated images is very difficult as it mostly requires experts, is expensive and time-consuming.Semi-supervised segmentation can be an attractive solution where a very few labeled images are used along with a large number of unlabeled ones. While the gap between supervised and semi-supervised methods have been dramatically reduced for classification problems in the past couple of years, there still remains a larger gap in segmentation methods. In this work, we adapt a state-of-the-art semi-supervised classification method FixMatch to semantic segmentation task, introducing FixMatchSeg. FixMatchSeg is evaluated in four different publicly available datasets of different anatomy and different modality: cardiac ultrasound, chest X-ray, retinal fundus image, and skin images. When there are few labels, we show that FixMatchSeg performs on par with strong supervised baselines.

研究の動機と目的

• 限られたラベル付き医療画像が存在する低リソースな臨床環境における課題に対処する。特に、専門家によるラベル付けは高コストかつ時間のかかる作業である。
• 強力な FixMatch 半教師あり分類手法を、より複雑な医療画像におけるセマンティックセグメンテーションタスクに適応すること。
• 少数のラベル付き画像しか利用できない状況で、単純でエンドツーエンドの半教師ありアプローチが教師ありベースラインを上回るかどうかを評価すること。
• データセット固有の性能差異、データ多様性、増強、形状/テクスチャバイアスの影響を、半教師ありセグメンテーションにおいて調査すること。

提案手法

• 弱い増強と強い増強を適用した同一画像の予測同士の整合性を保つことで、FixMatch の一貫性正則化と仮ラベル付け戦略をセマンティックセグメンテーションに適応した。
• 教師モデルがラベルなし画像の仮ラベルを生成し、それを学生モデルの学習に使用する、学生-教師フレームワークを採用した。
• 信頼度の低い仮ラベルを除外するために、しきい値 τ を用いてフィルタリングを行い、学習中に高品質な予測のみを活用する。
• 交差エントロピー損失と一貫性損失の組み合わせを採用し、異なる増強処理を施した同一画像の予測の差異をペナルティとして課した。
• 弱い増強と強い増強で異なる方法で適用される、標準的なデータ増強ポリシー（ランダムクロッピング、カラーのジャマリング、水平反転）を用いた。
• ラベル付きデータと仮ラベル付きデータを併用して、ハイパーパramータ λu を用いて教師あり信号と教師なし信号のバランスをとる形で、エンドツーエンドでモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 FixMatch の半教師あり学習フレームワークを、医療画像におけるセマンティックセグメンテーションに成功裏に適応できるか？
• RQ2 多様な医療画像ドメインにおいて、少数のラベル付き画像しか利用できない状況で、FixMatchSeg は教師ありベースラインを上回る性能を示すか？
• RQ3 画像モodal、解剖学的構造、テクスチャ/形状バイアスといった要因が、FixMatchSeg の性能向上に与える影響は何か？
• RQ4 FixMatchSeg の性能は、ラベル付きデータとラベルなしデータの比率に依存するか？また、ラベルなしデータ量が増加した際に性能が飽和するか？
• RQ5 データ増強、仮ラベルしきい値、モデル初期化（ランダム vs. 事前学習済み）が最終的なセグメンテーション精度に与える影響は何か？

主な発見

• CAMUS 心エコー画像データセットでは、FixMatchSeg はラベル付き画像が100枚の状況で Dice スコア 0.9447 を達成し、1624枚のラベル付き画像を用いた教師あり U-Net ベースラインを上回った。
• REFUGE 網膜眼底画像データセットでは、FixMatchSeg はラベル付き画像100枚とラベルなし画像400枚を用いて Dice スコア 0.85 を達成したが、同様のラベル付きデータ量を用いた教師ありベースラインは 0.58 にとどまった。
• ISIC 2017 皮膚腫瘍画像データセットでは、FixMatchSeg は教師ありベースラインの 0.74（事前学習済み）から 0.76 に向上させ、一貫したが控えめな向上を示した。
• SCR 胸部レントゲン画像データセットでは、FixMatchSeg はラベル付き画像100枚とラベルなし画像100枚を用いて Dice スコア 0.87 を達成し、教師ありベースラインを 0.01 上回った。
• 形状の規則性が高いデータセット（例：心臓や肺）では顕著な性能向上が見られ、テクスチャが豊富で形状が不規則な構造（例：皮膚腫瘍）では中程度の向上が確認された。これは、解剖学的・テクスチャ的特性に敏感であることを示唆している。
• データ多様性が高く、形状・テクスチャの要件が複雑なデータセット（例：REFUGE）では、FixMatchSeg の教師ありベースラインに対する性能向上が最も顕著であり、ラベルなしデータの多様性が性能向上の鍵を握っている可能性がある。