[論文レビュー] Contrastive learning of global and local features for medical image segmentation with limited annotations

Krishna Chaitanya, Ertunç Erdil+2 more|arXiv (Cornell University)|Jun 18, 2020

Radiomics and Machine Learning in Medical Imaging被引用数 241

ひとこと要約

医用画像のセグメンテーションのために、ドメイン固有および問題固有のコントラスト学習による事前学習を提案し、局所的なコントラスト損失を追加するとともに体積構造を活用して、少数の注釈で性能を向上させる。

ABSTRACT

A key requirement for the success of supervised deep learning is a large labeled dataset - a condition that is difficult to meet in medical image analysis. Self-supervised learning (SSL) can help in this regard by providing a strategy to pre-train a neural network with unlabeled data, followed by fine-tuning for a downstream task with limited annotations. Contrastive learning, a particular variant of SSL, is a powerful technique for learning image-level representations. In this work, we propose strategies for extending the contrastive learning framework for segmentation of volumetric medical images in the semi-supervised setting with limited annotations, by leveraging domain-specific and problem-specific cues. Specifically, we propose (1) novel contrasting strategies that leverage structural similarity across volumetric medical images (domain-specific cue) and (2) a local version of the contrastive loss to learn distinctive representations of local regions that are useful for per-pixel segmentation (problem-specific cue). We carry out an extensive evaluation on three Magnetic Resonance Imaging (MRI) datasets. In the limited annotation setting, the proposed method yields substantial improvements compared to other self-supervision and semi-supervised learning techniques. When combined with a simple data augmentation technique, the proposed method reaches within 8% of benchmark performance using only two labeled MRI volumes for training, corresponding to only 4% (for ACDC) of the training data used to train the benchmark. The code is made public at https://github.com/krishnabits001/domain_specific_cl.

研究の動機と目的

• 自己教師付き学習を活用して、医用画像セグメンテーションに必要なラベルデータ量の削減を動機づける。
• 体積データを扱う医用画像に適したグローバルおよび局所のコントラスト学習拡張を導入する。
• MRI/CTからのドメイン固有の手がかりと局所領域の区別を取り入れて、ピクセル単位の予測を改善する。
• 3つのMRIデータセットでアプローチを評価し、プリテキストタスク、データ拡張、および半教師あり手法と比較する。

提案手法

• グローバルコントラスト損失を拡張し、クロスボリュームのスライス整列をドメイン固有の類似性手掛かりとして活用する。
• デコーダの特徴マップ上で動作する局所的なコントラスト損失を導入し、セグメンテーションの領域別の区別を促進する。
• 正/負ペアを構築するための、2つのドメイン情報を持つグローバルコントラスト戦略（G^D-およびG^D）と2つの局所戦略（L^RおよびL^D）を定義する。
• グローバル損失でエンコーダを事前学習し、次にそれを凍結して局所損失でデコーダブロックを事前学習し、その後セグメンテーションの完全なファインチューニングを行う。
• 共同損失の重み付けを必要とせず、段階的なパイプラインでグローバルとローカルの事前学習を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 整列されたボリュームから得られるドメイン固有のグローバル手掛かりは、セグメンテーションのコントラスト学習の事前学習を改善できるか。
• RQ2 デコーダ特徴に局所的なコントラスト損失を追加すると、グローバルのみの場合よりもピクセルごとの表現が改善されるか。
• RQ3 限られた注釈条件下で、ドメイン情報を取り入れたコントラスト戦略は、ランダムな拡張やプリテキストタスクとどのように比較されるか。
• RQ4 提案された事前学習は、データ拡張や半教師あり手法と補完的であるか。

主な発見

• クロスボリュームスライス類似性（G^D）を活用したグローバル戦略は、ランダム拡張ベースラインを上回る。
• L^RまたはL^Dを用いたローカルデコーダ事前学習は、エンコーダのみの事前学習より追加の利得を提供する。
• 提案された組み合わせ（G^D plus L^R）は、ACDC、Prostate、MMWHSデータセットで、1～2のトレーニングボリュームで顕著な改善をもたらす。
• この手法は、ラベル付きボリューム2つのみでベンチマーク性能に近づき、データ拡張や半教師あり手法と組み合わせても利得が持続する。