[論文レビュー] ADAPT: Alzheimer Diagnosis through Adaptive Profiling Transformers

Yifeng Wang, Ke Chen+1 more|arXiv (Cornell University)|Jan 12, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用数 3

ひとこと要約

MedTransformerは、3次元MRIスキャンを冠状、矢状および軸状断面に分解し、共有および次元特異的自己注意、内部および異なる次元間のクロス注意、および新規の統合注意メカニズムを用いる2次元ビジョンTransformerベースのモデルを提案する。これによりアルツハイマー病の分類性能が向上する。複数のデータセットで最先端の性能を達成しており、ADNIデータセットでは、変種を除いたバージョンよりも9.03%の精度向上を達成している。

ABSTRACT

Automated diagnosis of Alzheimer Disease(AD) from brain imaging, such as magnetic resonance imaging (MRI), has become increasingly important and has attracted the community to contribute many deep learning methods. However, many of these methods are facing a trade-off that 3D models tend to be complicated while 2D models cannot capture the full 3D intricacies from the data. In this paper, we introduce a new model structure for diagnosing AD, and it can complete with performances of 3D models while essentially is a 2D method (thus computationally efficient). While the core idea lies in new perspective of cutting the 3D images into multiple 2D slices from three dimensions, we introduce multiple components that can further benefit the model in this new perspective, including adaptively selecting the number of sclices in each dimension, and the new attention mechanism. In addition, we also introduce a morphology augmentation, which also barely introduces new computational loads, but can help improve the diagnosis performances due to its alignment to the pathology of AD. We name our method ADAPT, which stands for Alzheimer Diagnosis through Adaptive Profiling Transformers. We test our model from a practical perspective (the testing domains do not appear in the training one): the diagnosis accuracy favors our ADAPT, while ADAPT uses less parameters than most 3D models use.

研究の動機と目的

• 高コストな計算とデータ不足のため、3次元CNNおよび純粋な3次元トランスフォーマーの限界を克服する。
• 3次元MRIスライスの2次元ビジョントランスフォーマーを活用することで、3次元モデルの非効率性と一般化性能の低さを是正する。
• 各軸方向（軸状、冠状、矢状）における特徴抽出およびスライス間依存関係のモデリングを、専用の注意メカニズムを用いて向上させる。
• エロージョンおよびダイレーショングループに基づく新規の形状補強技術を用いて、モデルのロバスト性と一般化性能を向上させる。
• 複数の機関データセット（ADNI、AIBL、MIRIAD、OASIS）において、変種や既存手法と比較して優れた性能を示す。

提案手法

• 3次元MRIボリュームを、互いに直交する3つの2次元スライス系列（軸状、冠状、矢状視点）に分解する。
• 全3次元方向に共通の自己注意エンコーダーを採用し、共通の空間的パターンを学習する。
• 各方向特異の自己注意エンコーダーを用いて、各視点方向における固有の構造的特徴を捉える。
• 内部次元クロス注意を適用し、同じ解剖学的平面内でのスライス間で特徴を統合する。
• 異なる次元間クロス注意を導入し、軸状、冠状、矢状視点の表現を統合する。
• 複数視点の特徴を統合しながら固有の情報を保持する新たな統合注意メカニズムを提案し、グローバルな文脈モデリングを強化する。

実験結果

リサーチクエスチョン

• RQ1 2次元ビジョントランスフォーマーに基づくモデルは、複数の解剖学的平面にわたる2次元スライスを処理することで、3次元MRIスキャンからのアルツハイマー病の分類を効果的に行えるか？
• RQ2 共有、次元特異的、内部次元、および異なる次元間の注意メカニズムが、診断性能にどのように影響を与えるか？
• RQ3 形状補強が、AD対正常分類におけるモデルの一般化性能と性能にどの程度向上効果をもたらすか？
• RQ4 1エンコーダーブロックあたりのスライス数およびトランスフォーマーの深さ（レイヤー数）が、モデルの精度とロバスト性にどのように影響するか？
• RQ5 分類性能に寄与する各アーキテクチャ的要素（例：クラストークン注意、統合注意）の貢献度は何か？

主な発見

• OASISデータセットではMedTransformerがテスト精度0.811を達成し、次に優れた変種よりも2.8%高い性能を示した。
• ADNIデータセットではMedTransformerが78.1%のテスト精度を達成し、形状補強を除いたバージョンと比較して9.03%の向上を示した。
• アブレーションスタディの結果、統合注意メカニズムを削除すると性能低下が最も大きくなり、特徴統合におけるその重要性が示された。
• 1視点あたり30枚のスライスが最適な性能をもたらした。スライス数が少なすぎると情報が不十分で、多すぎるとノイズが増加し、結果として性能が低下した。
• 1エンコーダーブロックあたり3レイヤー（1+1+2+2構成）のモデルが、全データセットで最高の精度を達成し、最適な深さバランスを示した。
• 注意マップの可視化により、MedTransformerが萎縮した脳領域（ADの主な指標）に注目していることが確認され、臨床的解釈可能性および病態関連性が裏付けられた。