[論文レビュー] Contrastive Pretraining for Echocardiography Segmentation with Limited Data

M. A. Saeed, Rand Muhtaseb+1 more|arXiv (Cornell University)|Jan 16, 2022

Cardiac Valve Diseases and Treatments被引用数 5

ひとこと要約

本稿では、限られたアノテート済みデータを用いて心エコー動画における左室セグメンテーションを向上させるために、SimCLRおよびBYOLを用いた自己教師付き対照的事前学習アプローチを提案する。大規模なラベルなしエコーグラフィー動画を事前学習し、ImageNetまたはEchoNet-Dynamicデータの5%のみを微調整に使用することで、EchoNet-DynamicでDiceスコア0.9252を達成し、完全に教師ありの最先端モデルを上回った。

ABSTRACT

Contrastive learning has proven useful in many applications where access to labelled data is limited. The lack of annotated data is particularly problematic in medical image segmentation as it is difficult to have clinical experts manually annotate large volumes of data such as cardiac structures in ultrasound images of the heart. In this paper, We propose a self supervised contrastive learning method to segment the left ventricle from echocardiography when limited annotated images exist. Furthermore, we study the effect of contrastive pretraining on two well-known segmentation networks, UNet and DeepLabV3. Our results show that contrastive pretraining helps improve the performance on left ventricle segmentation, particularly when annotated data is scarce. We show how to achieve comparable results to state-of-the-art fully supervised algorithms when we train our models in a self-supervised fashion followed by fine-tuning on just 5\% of the data. We show that our solution outperforms what is currently published on a large public dataset (EchoNet-Dynamic) achieving a Dice score of 0.9252. We also compare the performance of our solution on another smaller dataset (CAMUS) to demonstrate the generalizability of our proposed solution. The code is available at (https://github.com/BioMedIA-MBZUAI/contrastive-echo).

研究の動機と目的

• 臨床現場におけるディープラーニングの導入を妨げる、左室セグメンテーションに向けた限られたアノテート済み心エコー画像データの課題に対処すること。
• ラベル付きデータが限られる状況下で、自己教師付き対照的学習がセグメンテーション性能を向上させられるかを調査すること。
• UNetおよびDeepLabV3という2つの既存のネットワークを用いて、SimCLRおよびBYOL対照的学習フレームワークが心エコー画像セグメンテーションに与える有効性を評価すること。
• EchoNet-DynamicとCAMUSという2つのデータセットを用いて、汎用性を実証すること。
• 事前学習データサイズおよびバックボーン初期化の影響が、下流のセグメンテーション性能に与える影響を調査すること。

提案手法

• EchoNet-DynamicおよびCAMUSのラベルなし大規模心エコー動画を用いて、SimCLRおよびBYOLで特徴抽出器を事前学習する。
• ランダムクロッピング、カラージッタリング、ガウスノイズを用いたデータオーグメンテーションを実施し、同一画像の対応するビュー（ポジティブペア）と異なる画像のビュー（ネガティブペア）を生成する。
• UNetおよびDeepLabV3アーキテクチャを用いて、ラベル付きデータの5%のみを微調整に使用し、事前学習済みバックボーンを下流のセグメンテーションタスクに適応させる。
• 対照的損失を用い、同一画像の異なるオーグメント化ビュー間の一致を最大化し、異なる画像のビュー間の一致を最小化する。
• EchoNet-DynamicおよびCAMUSデータセットにおいて、ラベル付きデータが100%または5%の異なるデータ制約下でDiceスコアを評価する。
• 事前学習戦略を比較する：ImageNet、ランダム初期化、およびEchoNet-DynamicまたはCAMUSで実施した対照的事前学習。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、自己教師付き対照的事前学習が心エコー画像における左室セグメンテーション性能を向上させられるか？
• RQ2 ラベル付きデータが最小限の微調整で使用される状況下で、SimCLRがBYOLを上回る性能を示すか？
• RQ3 大規模かつ多様なデータセット（EchoNet-Dynamic）での事前学習と、小規模でドメイン特化したデータセット（CAMUS）での事前学習とを比較した場合、性能にどのような差が生じるか？
• RQ4 わずか5%のラベル付きデータでの微調整で、完全に教師ありの最先端モデルと同等の性能に到達できるか？
• RQ5 セグメンテーションバックボーン（UNet対比DeepLabV3）の選択が、対照的事前学習による利益に影響を与えるか？

主な発見

• EchoNet-DynamicでSimCLRを用いた対照的事前学習により、EchoNet-DynamicデータセットでDiceスコア0.9252を達成し、完全に教師ありの最先端手法を上回った。
• SimCLR事前学習後にわずか5%のラベル付きデータでの微調整を実施した結果、完全に教師ありモデルと同等の性能を達成した。これは、極めて高いデータ効率性を示している。
• EchoNet-Dynamicで実施したSimCLR事前学習は、CAMUSデータセットでも性能向上をもたらし、Diceスコア0.9311を達成。ImageNetおよびランダム初期化を上回った。
• BYOL事前学習は、特に5%データでの微調整時において劣った性能を示し、Diceスコアはたった0.7256にとどまった。これは、低データ環境下での不安定性および一般化性能の低さを示している。
• CAMUS（400サンプル）という小規模データセットでの事前学習は、SimCLRおよびBYOLの両方で効果がなく、大規模な事前学習データの必要性を強調した。
• すべての設定においてDeepLabV3がUNetを上回った。特にSimCLR事前学習と組み合わせた場合、ASPPモジュールのおかげでより優れたマルチスケール特徴抽出が可能となり、性能向上が顕著に現れた。