[論文レビュー] Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis

Zongwei Zhou, Vatsal Sodha+5 more|arXiv (Cornell University)|Aug 19, 2019

AI in cancer detection参考文献 15被引用数 44

ひとこと要約

本論文は Generic Autodidactic Models (Models Genesis) を、ラベルなしの3D医用画像で自己-supervised訓練し、複数の3Dおよび2Dタスクで強い転移性能を示し、scratch学習および2D ImageNetのベースラインを上回ることを紹介する。これらのモデルはコミュニティ利用のためにオープンソース化されている。

ABSTRACT

Transfer learning from natural image to medical image has established as one of the most practical paradigms in deep learning for medical image analysis. However, to fit this paradigm, 3D imaging tasks in the most prominent imaging modalities (e.g., CT and MRI) have to be reformulated and solved in 2D, losing rich 3D anatomical information and inevitably compromising the performance. To overcome this limitation, we have built a set of models, called Generic Autodidactic Models, nicknamed Models Genesis, because they are created ex nihilo (with no manual labeling), self-taught (learned by self-supervision), and generic (served as source models for generating application-specific target models). Our extensive experiments demonstrate that our Models Genesis significantly outperform learning from scratch in all five target 3D applications covering both segmentation and classification. More importantly, learning a model from scratch simply in 3D may not necessarily yield performance better than transfer learning from ImageNet in 2D, but our Models Genesis consistently top any 2D approaches including fine-tuning the models pre-trained from ImageNet as well as fine-tuning the 2D versions of our Models Genesis, confirming the importance of 3D anatomical information and significance of our Models Genesis for 3D medical imaging. This performance is attributed to our unified self-supervised learning framework, built on a simple yet powerful observation: the sophisticated yet recurrent anatomy in medical images can serve as strong supervision signals for deep models to learn common anatomical representation automatically via self-supervision. As open science, all pre-trained Models Genesis are available at https://github.com/MrGiovanni/ModelsGenesis.

研究の動機と目的

• ラベルなしの医用画像から構築されたソースモデルが、転移学習を通じて高性能なターゲットモデルを生み出すことを示す。
• 3D Models Genesis が 3D 解剖情報を 2D 転送よりうまく活用することを示す。
• 複数の臓器・病変・モダリティにまたがる Genesis の評価を行い、一般性を確立する。
• Scratch 学習および ImageNet ベースの転移学習と比較し、3D 自己監督の利点を定量化する。

提案手法

• 非線形強度変換、局所ピクセルシャッフル、アウトペインティング、インペインティングの4変換を統合した統一的な自己教師付きフレームワークを提案し、それを単一の画像復元タスクに組み込む。
• 変換後のパッチから元のパッチを復元するエンコーダ-デコーダネットワークを訓練し、転送可能な特徴学習を可能にする。
• Genesis Chest CT をラベルなしの胸部CTデータ（LIDC-IDRI）で事前訓練し、Genesis Chest X-ray を ChestX-ray83 で事前訓練する；スライスベースのタスクのための2D版（Genesis Chest CT 2D）を作成する。
• 事前訓練済みのエンコーダまたはエンコーダ-デコーダを下流タスクでファインチューニングし、セグメンテーションと分類の性能を評価する。
• 3Dおよび2Dの分類とセグメンテーションを網羅する7つのターゲットタスク（例：NCC, NCS, ECC, LCS, BMS, DXC, IUC）に渡って評価する。
• Scratch からの学習、ImageNet 微調整（2Dおよび3D）、NiftyNetベースラインと比較する；同一ドメイン転移とクロスドメイン転移を分析する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし医用画像での自己監督 pre-training が、多様な3D医用画像タスクに転移可能な表現を生み出すのか？
• RQ2 Genesis における3D解剖情報の活用は、ImageNet からの2D転移学習に対して有利になるのか？
• RQ3 医用画像表現において、単独の代理タスクではなく統一された多タスク自己教師付きフレームワークには利点があるのか？
• RQ4 疾患・臓器・モダリティを横断する Genesis を用いた場合、同一ドメイン転移とクロスドメイン転移はどう比較されるのか？

主な発見

• Genesis モデルは7つのターゲットタスクを通じて一貫して scratch からの訓練を上回る。
• Genesis Chest CT (3D) は同じタスクで一般に 2D ImageNet-finetuned モデルを上回り、3D解剖情報の価値を際立たせる。
• ダウングレードされた2D版（Genesis Chest CT 2D および Genesis X-ray）は、同一モダリティ内で ImageNet 微調整と同等の性能を達成する。
• タスク全体を通じて、同一ドメイン転移が推奨され、クロスドメイン転移は潜在能力を示すが、一般には同一ドメイン転移より性能が劣る。
• 統一的な自己教師付きフレームワークは複数のタスクで堅牢な改善をもたらし、個別の代理スキームを上回る。
• すべての事前訓練済み Models Genesis は、オープンサイエンスを支援するために公公開される。