[論文レビュー] Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation

Cheng Ouyang, Carlo Biffi+4 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用数 15

ひとこと要約

本論文では、スーパピクセルに基づく偽ラベルとアダプティブローカルプロトタイププーリングモジュールを用いることで、手動アノテーションの必要性を排除する自己教師あり少数ショット医療画像セグメンテーションフレームワーク、SSL-ALPNetを提案する。この手法は、Abd-CTおよびAbd-MRIで最先端の性能を達成し、人為的アノテーションデータを一切使用しないにもかかわらず、完全に教師ありFSSベースラインを平均Diceスコアで25%以上上回る。

ABSTRACT

Few-shot semantic segmentation (FSS) has great potential for medical imaging applications. Most of the existing FSS techniques require abundant annotated semantic classes for training. However, these methods may not be applicable for medical images due to the lack of annotations. To address this problem we make several contributions: (1) A novel self-supervised FSS framework for medical images in order to eliminate the requirement for annotations during training. Additionally, superpixel-based pseudo-labels are generated to provide supervision; (2) An adaptive local prototype pooling module plugged into prototypical networks, to solve the common challenging foreground-background imbalance problem in medical image segmentation; (3) We demonstrate the general applicability of the proposed approach for medical images using three different tasks: abdominal organ segmentation for CT and MRI, as well as cardiac segmentation for MRI. Our results show that, for medical image segmentation, the proposed method outperforms conventional FSS methods which require manual annotations for training.

研究の動機と目的

• 少数ショットセグメンテーションモデルの学習に必要な限定的でアノテート済みの医療画像の課題を解決する。
• 自己教師あり学習を活用することで、高価で時間がかかる手動アノテーションに依存しない。
• 医療画像における前景・背景クラスの不均衡を、より優れた局所表現学習によって克服する。
• 推論時にわずかなラベル付き例しか使用しない状況でも、未観測の解剖的構造や病変に一般化できるようにする。
• 多様な医療画像モodalities（CT、MRI）に適用可能な堅牢な、アノテーションフリーの学習パラダイムを開発する。

提案手法

• 未ラベル化された医療画像からスーパピクセルに基づく偽ラベルを生成し、自己教師ありの事前学習タスクを構築する。
• 自己教師ありタスクを「1つのスーパピクセル vs 残りのすべて」というセグメンテーションに定式化することで、特徴の識別能を向上させる。
• サポート画像とクエリ画像の間でランダムな幾何変換および強度変換を適用し、表現の不変性を強制する。
• 各クラスごとに複数の局所表現を抽出するアダプティブローカルプロトタイププーリング（ALP）モジュールを導入する。特に大規模なバックグラウンド領域に対して有効である。
• プロトタイプネットワークにALPモジュールを組み込み、クラス内での空間的ばらつきを保持し、境界の曖昧さを低減する。
• 自己教師ありタスクにおけるコントラスト損失を用いて、ネットワーク全体をエンドツーエンドで学習させ、実際の意味的クラスへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スーパピクセルの偽ラベルを用いた自己教師あり学習は、人為的アノテーションデータを一切使用せずに、少数ショットセグメンテーションモデルを効果的に学習できるか？
• RQ2 極端な前景・背景クラスの不均衡がある状況下で、アダプティブローカルプロトタイププーリングはセグメンテーション性能をどのように向上させるか？
• RQ3 提案手法は、学習時に見られなかった未観測の解剖的構造や病変に、どの程度一般化できるか？
• RQ4 ランダムなデータオーグメンテーション（幾何変換および強度変換）は、学習された表現のロバスト性および一般化性能にどのように影響するか？
• RQ5 医療画像における実際の意味的オブジェクトスケールに一致させるために、偽ラベル化に最適なスーパピクセルの粒度は何か？

主な発見

• 提案されたSSL-ALPNetは、学習時に人為的アノテーションを一切使用しないにもかかわらず、3つの医療画像タスクにおいて平均して25.1%高いDiceスコアを達成し、完全に教師ありの最先端FSS手法を上回った。
• 設定2におけるAbd-CTでは、平均Diceスコア63.02を達成し、次に良い手法（SSL-PANet）の59.31を顕著に上回った。
• アブレーションスタディの結果、自己教師あり学習とアダプティブローカルプロトタイププーリングの両方が、独立してかつ相乗的に性能向上に寄与していることが確認された。
• サポート画像とクエリ画像の間に幾何変換と強度変換の両方を適用した場合が最高の性能（平均Dice 63.02）を示し、表現の不変性を確保する上で両者の重要性が裏付けられた。
• 最小サイズ400ピクセルの偽ラベルが最適な性能を発揮した。これは、スーパピクセルの粒度が解剖的詳細を捉えるのに十分に細かく、かつ意味的クラスタリングを損なわないようにする必要があることを示している。
• モデルは未観測クラスに対しても良好に一般化しており、臓器や画像プロトコルが異なる場合でも一貫した性能を示し、大きな病変を伴う困難なケースに対しても有効であった。