[論文レビュー] 3D Self-Supervised Methods for Medical Imaging

Aiham Taleb, Winfried Loetzsch+5 more|arXiv (Cornell University)|Jun 6, 2020

Medical Image Segmentation Techniques参考文献 67被引用数 128

ひとこと要約

五つの3D自己教師ありプロキシタスク（3D-CPC、3D-Rot、3D-Jig、3D-RPL、3D-Exe）を導入し、ラベルなし3D医用画像から学習することでデータ効率と下流パフォーマンスを改善。脳腫瘍、膵臓腫瘍、糖尿病性網膜症タスクで効果を発揮し、オープンソースコードを提供。

ABSTRACT

Self-supervised learning methods have witnessed a recent surge of interest after proving successful in multiple application fields. In this work, we leverage these techniques, and we propose 3D versions for five different self-supervised methods, in the form of proxy tasks. Our methods facilitate neural network feature learning from unlabeled 3D images, aiming to reduce the required cost for expert annotation. The developed algorithms are 3D Contrastive Predictive Coding, 3D Rotation prediction, 3D Jigsaw puzzles, Relative 3D patch location, and 3D Exemplar networks. Our experiments show that pretraining models with our 3D tasks yields more powerful semantic representations, and enables solving downstream tasks more accurately and efficiently, compared to training the models from scratch and to pretraining them on 2D slices. We demonstrate the effectiveness of our methods on three downstream tasks from the medical imaging domain: i) Brain Tumor Segmentation from 3D MRI, ii) Pancreas Tumor Segmentation from 3D CT, and iii) Diabetic Retinopathy Detection from 2D Fundus images. In each task, we assess the gains in data-efficiency, performance, and speed of convergence. Interestingly, we also find gains when transferring the learned representations, by our methods, from a large unlabeled 3D corpus to a small downstream-specific dataset. We achieve results competitive to state-of-the-art solutions at a fraction of the computational expense. We publish our implementations for the developed algorithms (both 3D and 2D versions) as an open-source library, in an effort to allow other researchers to apply and extend our methods on their datasets.

研究の動機と目的

• 3D医用画像における高価な専門家アノテーションへの依存を低減する。
• 自己教師付きプロキシタスクを用いてラベルなしデータから豊かな3D表現を学習する。
• セグメンテーションや検出などの下流タスクにおけるデータ効率の良い微調整を可能にする。
• 大規模なラベルなしコーパスから学習した3D表現を小規模な下流データセットへ転移させることを示す。

提案手法

• 5つの3D自己教師ありタスクを提案する：3D Contrastive Predictive Coding (3D-CPC)、3D Rotation prediction (3D-Rot)、3D Jigsaw puzzles (3D-Jig)、Relative 3D patch location (3D-RPL)、および 3D Exemplar networks (3D-Exe) 。
• 3D-CPCはエンコーダとコンテキストネットワークを用い、InfoNCE損失を使用して未来パッチの潜在表現を反転ピラミッド型3Dコンテキストで予測する。
• 3D-RPLは3Dグリッド内のクエリパッチの相対位置を分類するように訓練し、ショートカットを避けるためにジッターを導入する。
• 3D-Jigは3Dパッチグリッドの並べ替えをPクラス分類タスクとして解く。
• 3D-Rotはディスクリタイズされた3D回転（10クラス）を予測して意味理解を促す。
• 3D-Exeはトリプレット損失を用いて変換されたポジティブを埋め込み空間で近づけ、ネガティブを遠ざける。

実験結果

リサーチクエスチョン

• RQ1 3D自己教師付きプロキシタスクは、ラベルなし3D医用画像から学習した表現を、2Dやゼロからのトレーニングと比較して改善するか。
• RQ2 3D表現は大規模なラベルなしコーパスからの転移学習を通じて、下流タスクおよび小規模データセットへ転移可能か。
• RQ3 3Dプロキシタスクは脳腫瘍セグメンテーション、膵腫瘍セグメンテーション、糖尿病性網膜症検出においてデータ効率、性能向上、収束速度を提供するか。
• RQ4 現実的な医用画像ベンチマークにおいて、3D手法は2D対比法および教師ありベースラインとどう比較されるか。

主な発見

モデル	ET	WT	TC
3D-From scratch	76.38	87.82	83.11
3D Supervised	78.88	90.11	84.92
2D-CPC	76.60	86.27	82.41
2D-RPL	77.53	87.91	82.56
2D-Jigsaw	76.12	86.28	83.26
2D-Rotation	76.60	88.78	82.41
2D-Exemplar	75.22	84.82	81.87
Popli et al. [66]	74.39	89.41	82.48
Baid et al. [67]	74.80	87.80	82.66
Chandra et al. [68]	74.06	87.19	79.89
Isensee et al. [65]	80.36	90.80	84.32
3D-CPC	80.83	89.88	85.11
3D-RPL	81.28	90.71	86.12
3D-Jigsaw	79.66	89.20	82.52
3D-Rotation	80.21	89.63	84.75
3D-Exemplar	79.46	90.80	83.87

• 3D自己教師付き事前学習はデータ効率を優位に高め、ゼロからの学習および2Dスライスベースのベースラインより特にデータ不足時に優れている。
• タスクを跨いで、3D手法は最新のBraTSベースラインと比較してDiceスコアが競争力あるいは優れており、下流エポック数を少なくする場合が多い。
• 3D表現は大規模なラベルなし3Dコーパス（例：UK Biobank）から小さな下流データセットへ効果的に転移する。
• 3D手法はBraTS脳腫瘍セグメンテーションタスクで2D対比より優れており、完全な3D文脈の価値を強調している。
• 3Dおよび2Dの変種のオープンソース実装が公開され、採用と拡張を促進する。