[論文レビュー] Introducing Vision Transformer for Alzheimer's Disease classification task with 3D input

Zilun Zhang, Farzad Khalvati|arXiv (Cornell University)|Oct 3, 2022

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

本稿では、3次元MRIスキャンからアルツハイマー病を分類するために設計された、3次元ビジョントランスフォーマーに基づくモデルであるConvolutional Voxel Vision Transformer (CVVT) と、浅い4ブロックの3次元CNN（ConvNet3D-4）を紹介する。結果は、より複雑なモデルと同等の性能を示すシンプルな3次元CNNが優れた性能を発揮することを示しており、これは、効果的なアルツハイマー病分類には浅い3次元CNN十分である可能性を示唆している。

ABSTRACT

Many high-performance classification models utilize complex CNN-based architectures for Alzheimer's Disease classification. We aim to investigate two relevant questions regarding classification of Alzheimer's Disease using MRI: "Do Vision Transformer-based models perform better than CNN-based models?" and "Is it possible to use a shallow 3D CNN-based model to obtain satisfying results?" To achieve these goals, we propose two models that can take in and process 3D MRI scans: Convolutional Voxel Vision Transformer (CVVT) architecture, and ConvNet3D-4, a shallow 4-block 3D CNN-based model. Our results indicate that the shallow 3D CNN-based models are sufficient to achieve good classification results for Alzheimer's Disease using MRI scans.

研究の動機と目的

• 3次元MRIスキャンからアルツハイマー病を分類する際、ビジョントランスフォーマーに基づくモデルが従来のCNNベースのモデルを上回るかを評価すること。
• 深さや複雑さのない浅い3次元CNNアーキテクチャが、競争力のある分類性能を達成できるかを調査すること。
• 同じアルツハイマー病分類タスクにおいて、新規に提案された3次元ビジョントランスフォーマー（CVVT）と軽量な3次元CNN（ConvNet3D-4）の性能を比較すること。
• この医療画像分野において、より単純な3次元CNNモデルが、より複雑なアーキテクチャを上回るか、同等の性能を発揮できるかを特定すること。

提案手法

• ボクセルをトークンとして扱い、マルチヘッド自己注意機構を適用することで、3次元MRIボリュームを処理する3次元ビジョントランスフォーマーの変種であるConvolutional Voxel Vision Transformer (CVVT) を提案する。
• モデルの複雑さを最小限に抑えるために、4つの残差ブロックのみを備えた浅い4ブロックの3次元CNNアーキテクチャ（ConvNet3D-4）を設計する。
• ボリューム画像データを処理するため、CNNベースのモデルに標準の3次元畳み込み層、バッチ正則化、ReLU活性化関数を適用する。
• 両モデルに対して、クロスエントロピー損失とAdam最適化を用いた標準的なトレーニングプロトコルを、公開のアルツハイマー病MRIデータセットで実施する。
• 空間的文脈をすべての3次元で保持するために、中間の2次元スライス抽出を一切行わず、3次元MRIスキャンを直接処理する。
• CVVTでは、3次元ボクセルパッチを事前学習可能なベクトルに変換するパッチ埋め込みを採用し、その後にマルチヘッド自己注意機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 3次元MRIスキャンからアルツハイマー病を分類する際、ビジョントランスフォーマーに基づくモデルはCNNベースのモデルを上回るか？
• RQ2 4つの残差ブロックのみを備えた浅い3次元CNNは、アルツハイマー病MRIデータに対して競争力のある分類精度を達成できるか？
• RQ3 提案された3次元ビジョントランスフォーマー（CVVT）の性能は、より深いまたはより複雑なモデルと同等か、それ以上か？
• RQ4 エンドツーエンド処理を伴う3次元入力データを使用することで、2次元ベースのアプローチや従来の3次元CNNと比較して、より優れた結果が得られるか？

主な発見

• 浅い3次元CNNモデル（ConvNet3D-4）は優れた分類性能を示しており、これは、アルツハイマー病分類において複雑なアーキテクチャが必ずしも必要でないことを示唆している。
• 提案されたビジョントランスフォーマーに基づくモデル（CVVT）は、競争力のある性能を示しており、自己注意機構が3次元脳MRIデータを効果的にモデル化できることを示している。
• 両モデルとも、標準のアルツハイマー病MRIベンチマークデータセットで頑健な性能を示しており、3次元CNNはより複雑なモデルと同等の結果を達成している。
• 結果から、2次元スライスベースの手法よりも3次元入力処理が空間的文脈をより良く保持でき、分類の信頼性が向上することが示された。
• この研究では、3次元CNNにおける最小限の深さでも高い性能が得られることを確認しており、医療画像分類においてより深いネットワークが必須であるという仮定に疑問を呈している。
• 浅い3次元CNNの性能は、計算効率とモデルの単純さを優先しても、診断の正確性を損なわずに実現可能であることを示唆している。