[論文レビュー] Self-Supervised Learning for 3D Medical Image Analysis using 3D SimCLR and Monte Carlo Dropout

Yamen Ali, Aiham Taleb+2 more|arXiv (Cornell University)|Sep 29, 2021

Medical Imaging Techniques and Applications参考文献 2被引用数 8

ひとこと要約

本稿では、3D MRIおよびCTスキャンをラベルなしで事前学習することで、強固な特徴を学習する3D自己教師付き学習フレームワークである3D SimCLRを提案する。さらに、推論時にモンテカルロドロップアウトを統合することで不確実性を推定し、特にラベル付きデータが限られた状況においても、脳腫瘍および膵臓腫瘍のセグメンテーションタスクで、セグメンテーション精度とデータ効率を顕著に向上させる。

ABSTRACT

Self-supervised learning methods can be used to learn meaningful representations from unlabeled data that can be transferred to supervised downstream tasks to reduce the need for labeled data. In this paper, we propose a 3D self-supervised method that is based on the contrastive (SimCLR) method. Additionally, we show that employing Bayesian neural networks (with Monte-Carlo Dropout) during the inference phase can further enhance the results on the downstream tasks. We showcase our models on two medical imaging segmentation tasks: i) Brain Tumor Segmentation from 3D MRI, ii) Pancreas Tumor Segmentation from 3D CT. Our experimental results demonstrate the benefits of our proposed methods in both downstream data-efficiency and performance.

研究の動機と目的

• ラベルなしの大規模3D医療スキャンを活用して自己教師付き学習によりモデルを事前学習することで、3D医療スキャンのアノテーション不足に対処すること。
• 専門家がアノテートした訓練データを大量に必要としないことで、下流のセグメンテーションタスクにおけるデータ効率を向上させること。
• モンテカルロドロップアウトをベイジアン近似として用いて推論時に不確実性推定を統合することで、モデルの信頼性を向上させること。
• 本手法の有効性を、脳腫瘍および膵臓腫瘍のセグメンテーションという2つの挑戦的な3D医療画像セグメンテーションタスクで評価すること。
• 特にデータが少ない状況下で、MCドロップアウトによる不確実性を考慮した推論が、測定可能な性能向上をもたらすことを示すこと。

提案手法

• 事前学習では、ラベルなしのMRIおよびCTスキャンから抽出した3Dパッチを用い、3D SimCLRとコントラスト学習を適用し、回転、ノイズ、ぼかしなどのランダムな増幅を施してポジティブペアを生成する。
• モデルアーキテクチャは3D-CNNエンコーダーと非線形プロジェクションヘッドから構成され、同じパッチの増幅ビュー間の類似性を最大化するために、正規化された温度スケーリング付き交差エントロピー損失（NT-Xent）を用いて学習される。
• 下流のセグメンテーションタスクでは、事前学習済みエンコーダーを微調整し、U-Netデコーダーを用い、腫瘍セグメンテーションにおけるクラス不均衡を補うために重み付きDice損失を適用する。
• 推論時にモンテカルロドロップアウトを適用し、複数回の順方向伝搬を実行することで不確実性推定とアンサンブル平均化によるロバストネス向上を実現する。
• 多数決投票、ボーダー順位法、重み付き多数決投票といった複数の集約戦略を評価し、MCドロップアウト予測の統合によりセグメンテーションの一貫性を向上させる。
• MCドロップアウト予測の百分位ヒートマップを可視化することで、予測された腫瘍領域における信頼度レベルを示す。

実験結果

リサーチクエスチョン

• RQ1 3D SimCLRをラベルなしの3D医療スキャンで事前学習することで、ランダムまたは教師あり事前学習と比較して、下流のセグメンテーション性能が向上するか？
• RQ2 推論時にモンテカルロドロップアウトを組み込むことで、特にデータが少ない状況下で、セグメンテーションの精度とロバストネスが向上するか？
• RQ3 MCドロップアウトによる不確実性推定は予測の信頼性にどのように影響し、臨床意思決定を支援する意味のある形で可視化可能か？
• RQ4 MCドロップアウトによる性能向上は、ネットワークのエンコーダー、デコーダー、または両方のコンポonentに適用した場合に依存するか？
• RQ5 ドロップアウト率やサンプル数といった異なるMCドロップアウトの設定が、最終的なセグメンテーション性能にどのように影響するか？

主な発見

• 膵臓腫瘍データセットでは、本手法の3D SimCLRにMCドロップアウトを組み合わせたモデルが、ラベル付きデータの5％での微調整でも、ベースラインと比較して平均Diceスコアで最大8.5％の向上を達成した。
• 推論時にMCドロップアウトを適用することで、ベースラインの決定的モデルと比較して、膵臓データセットの平均Diceスコアが3.2％向上した。特にエンコーダーにドロップアウトを適用した場合に大きな向上が観察された。
• 訓練データの25％での微調整でも、本手法の3D SimCLRモデルは、100％のデータで学習したベースラインモデルよりも高い平均Diceスコアを達成した。これは、強力なデータ効率性を示している。
• MCドロップアウト予測の重み付き多数決投票戦略が、他の集約手法を上回り、特にラベル付きデータが5％を超える状況で顕著な優位性を示した。
• MCドロップアウト予測のヒートマップでは、5百分位マップが腫瘍コア部の高信頼度領域を示し、95百分位マップが偽陽性が増加していることを確認した。これは、本手法が不確実性を適切に反映できることを裏付けた。
• アブレーションスタディの結果、MCドロップアウトによる性能向上は主にエンコーダーでの不確実性推定に起因しており、デコーダーにのみドロップアウトを適用した場合、性能向上はほとんど見られなかった。