[論文レビュー] Medical Transformer: Universal Brain Encoder for 3D MRI Analysis

Eunji Jun, Seungwoo Jeong+2 more|arXiv (Cornell University)|Apr 28, 2021

Advanced Neural Network Applications参考文献 24被引用数 32

ひとこと要約

自己教師付きのマルチビュー Transformer ベースのバックボーン（Medical Transformer）を、大規模な3D脳MRIデータで事前学習し、脳疾患診断、脳年齢予測、脳腫瘍分割のためのパラメータ効率の高い転移学習を可能にする。

ABSTRACT

Transfer learning has gained attention in medical image analysis due to limited annotated 3D medical datasets for training data-driven deep learning models in the real world. Existing 3D-based methods have transferred the pre-trained models to downstream tasks, which achieved promising results with only a small number of training samples. However, they demand a massive amount of parameters to train the model for 3D medical imaging. In this work, we propose a novel transfer learning framework, called Medical Transformer, that effectively models 3D volumetric images in the form of a sequence of 2D image slices. To make a high-level representation in 3D-form empowering spatial relations better, we take a multi-view approach that leverages plenty of information from the three planes of 3D volume, while providing parameter-efficient training. For building a source model generally applicable to various tasks, we pre-train the model in a self-supervised learning manner for masked encoding vector prediction as a proxy task, using a large-scale normal, healthy brain magnetic resonance imaging (MRI) dataset. Our pre-trained model is evaluated on three downstream tasks: (i) brain disease diagnosis, (ii) brain age prediction, and (iii) brain tumor segmentation, which are actively studied in brain MRI research. The experimental results show that our Medical Transformer outperforms the state-of-the-art transfer learning methods, efficiently reducing the number of parameters up to about 92% for classification and

研究の動機と目的

• 3D 医用画像における限られたアノテーションデータのため、転移学習を動機付ける。
• 3D MRI をマルチビューの 2D スライスとしてモデル化する、普遍的でパラメータ効率の高いバックボーンを提案する（矢状面、冠状面、軸位）。
• 大規模な健常脳 MRI データ上で自己教師付きマスクエンコーディングベクター予測で事前学習する。
• 脳疾患診断、脳年齢予測、脳腫瘍分割への転移学習を実証する。
• 最先端の性能を維持または超える一方でパラメータ数を削減する。

提案手法

• 矢状面、冠状面、軸位の平面からのマルチビュー 3D から 2D スライス表現。
• 各平面ごとに別個の畳み込みエンコーダを持つバックボーンがスライス間の依存関係をモデル化するトランスフォーマに供給。
• スライスのトークンを跨ぐ exemplar ベースの損失とマスクされたエンコディングベクター予測（BERT ライク）による自己教師付き事前学習。
• 単一スケール（分類/回帰）またはマルチスケール（分割）予測でファインチューニング。
• ADNI BraTS および関連データセット上での最先端の 3D 転移学習および自己教師付き手法との比較。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きのマルチビューバックボーンが健常な脳MRIで事前学習され、下流の 3D MRI タスクの普遍的エンコーダとして機能するか？
• RQ2 Medical Transformer は既存の 3D 転移学習手法と比較して、パラメータを削減しつつ性能を維持または向上できるか？
• RQ3 脳疾患診断、脳年齢予測、脳腫瘍分割は共有の普遍的エンコーダからどのような恩恵を受けるか？
• RQ4 分割タスクに対しては分類/回帰タスクよりもマルチスケールのファインチューニング戦略が有利か？

主な発見

• 三つのタスク全てで最先端の 3D 転移学習手法を上回る。
• 分類と回帰で最大約 92% のパラメータ削減、分割で約 97% の削減を達成。
• 部分的なトレーニングデータでも高い性能を示し、ラベル付きサンプルが少なくても精度を維持。
• 普遍的バックボーンを用いた脳疾患診断と脳年齢予測で顕著な向上を示す。
• 脳腫瘍分割は Dice スコアで競争力があり、特に挑戦的な ET 領域で最も改善が見られる。