[論文レビュー] Highly Accurate FMRI ADHD Classification using time distributed multi modal 3D CNNs

Christopher A. Sims|arXiv (Cornell University)|May 24, 2022

CCD and CMOS Imaging Sensors被引用数 5

ひとこと要約

本稿では、fMRIに基づく注意欠陥多動性障害（ADHD）分類の高精度化を目的として、3D-GANで拡張されたMRIデータを用いた時間分布型マルチモーダル3次元畳み込みニューラルネットワーク（3D-CNN）を提案する。fMRI時系列データと3D-StyleGAN2生成の合成3次元MRI画像を統合することで、ADHD-200データセットで99.69%の精度を達成し、単一モーダルおよび先行手法を著しく上回った。

ABSTRACT

This work proposes an algorithm for fMRI data analysis for the classification of ADHD disorders. There have been several breakthroughs in the analysis of fMRI via 3D convolutional neural networks (CNNs). With these new techniques it is possible to preserve the 3D spatial data of fMRI data. Additionally there have been recent advances in the use of 3D generative adversarial neural networks (GANs) for the generation of normal MRI data. This work utilizes multi modal 3D CNNs with data augmentation from 3D GAN for ADHD prediction from fMRI. By leveraging a 3D-GAN it would be possible to use deepfake data to enhance the accuracy of 3D CNN classification of brain disorders. A comparison will be made between a time distributed single modal 3D CNN model for classification and the modified multi modal model with MRI data as well.

研究の動機と目的

• fMRI時系列データと構造的MRIを統合するマルチモーダル3次元畳み込みニューラルネットワークを活用して、fMRIデータからのADHD分類精度の向上を図ること。
• fMRIベースのADHD診断におけるデータ不足問題を解決するため、3D-GANを用いて高精細な合成MRIデータを生成し、データ拡張に活用すること。
• 個々の被験者に特有のMRIではなく、一般化された脳解剖学的特徴が、3D-CNNのADHD分類性能向上に十分であるかどうかを検証すること。
• RNNアーキテクチャ（GRU対LSTM）が、fMRIデータの時系列モデリングに与える影響をADHD分類の文脈で評価すること。
• トランスフォーマーに基づくアーキテクチャが、フル解像度のfMRIデータ処理を可能とし、モデルの解釈性を向上させる可能性を検討すること。

提案手法

• 時間分布型3次元畳み込みニューラルネットワーク（3D-CNN）アーキテクチャを用いて、fMRI時系列データを処理し、ボリューム全体の空間的・時間的構造を保持する。
• 生の3次元fMRIデータと3D-GANで生成されたMRI画像を統合したマルチモーダル入力を行い、実際のMRIデータに微調整されたGANを用いて、リアルな合成脳スキャンを生成する。
• 3D-StyleGAN2モデルは、マッピングネットワークとスタイリングモジュレーションを用いて、生成画像のアーティファクトを低減する高解像度3次元MRIボリュームを生成する。
• fMRIデータの時間的依存性をモデル化するために、GRUベースの再帰層を採用し、標準的な3D-CNNやLSTMと比較して性能が向上した。
• 生成画像の現実性と多様性を保証するため、知覚的類似性と勾配正則化に基づく損失関数を用いて3D-GANを訓練する。
• トレーニング中のメモリオーバーフローを回避するため、入力データをダウンサンプリングする。今後の課題として、トランスフォーマーを用いたフル解像度処理の可能性が示唆されている。

実験結果

リサーチクエスチョン

• RQ1 3D-GANで生成されたMRIデータは、fMRIデータからの3D-CNNベースのADHD分類精度を著しく向上させるか？
• RQ2 被験者固有のMRIではなく、一般化された脳解剖学的特徴を用いた合成MRIを用いることで、ADHD分類における一般化性能が向上するか？
• RQ3 GRUやLSTMといった再帰アーキテクチャは、fMRIデータの時系列ダイナミクスモデリングにおいて、ADHD診断の文脈でどのように比較されるか？
• RQ4 fMRIと合成MRIのマルチモーダル3D-CNN統合は、単一モーダルのfMRIオンリーモデルに比べてどの程度優れているか？
• RQ5 トランスフォーマーに基づくアーキテクチャは、フル解像度fMRI処理を可能とし、ADHD分類におけるモデルの解釈性を向上させることができるか？

主な発見

• マルチモーダル3D-GRUモデルはADHD-200データセットで99.69%の精度を達成し、最も優れた先行手法（SM-3DLSTMで66.04%）を著しく上回った。
• マルチモーダル3D-LSTMモデルは97.87%の精度を達成し、fMRIと合成MRIデータの統合が有効であることを示した。
• 時間分布型単一モーダル3D-GRUモデルは75.55%の精度を達成し、時間的モデリングが標準的な3D-CNNよりも性能向上に寄与することを示した。
• 3D-GANで生成されたMRIデータの使用により、被験者固有のMRIがなくても高い精度が達成されたことから、一般化された脳構造が効果的な分類に十分であることが示された。
• モデルの性能は入力解像度に敏感であり、メモリ制限を避けるためにダウンスケーリングが必要であった。これは、トランスフォーマーのようなより効率的なアーキテクチャの必要性を示唆している。
• 高い精度は、解釈可能なAIやセグメンテーションヘッドを統合する可能性を示しており、ADHDを予測するのに最も寄与する脳領域を同定するのに有効であると考えられる。