[論文レビュー] Improving Classification Rate of Schizophrenia Using a Multimodal Multi-Layer Perceptron Model with Structural and Functional MR

Alvaro Ulloa, Sergey Plis+1 more|arXiv (Cornell University)|Apr 4, 2018

Functional Brain Connectivity Studies参考文献 12被引用数 13

ひとこと要約

本研究では、合成データの事前学習を用いて構造的（sMRI）および機能的（fMRI）MRIデータを統合する、マルチモーダルでマルチレイヤーのパーセプトロン（MLP）モデルを提案する。非線形学習とデータ拡張を活用することで、AUCが0.850 ± 0.051に達し、個々のモダリティや従来の分類器を著しく上回る結果を得た。

ABSTRACT

The wide variety of brain imaging technologies allows us to exploit information inherent to different data modalities. The richness of multimodal datasets may increase predictive power and reveal latent variables that otherwise would have not been found. However, the analysis of multimodal data is often conducted by assuming linear interactions which impact the accuracy of the results. We propose the use of a multimodal multi-layer perceptron model to enhance the predictive power of structural and functional magnetic resonance imaging (sMRI and fMRI) combined. We also use a synthetic data generator to pre-train each modality input layers, alleviating the effects of the small sample size that is often the case for brain imaging modalities. The proposed model improved the average and uncertainty of the area under the ROC curve to 0.850+-0.051 compared to the best results on individual modalities (0.741+-0.075 for sMRI, and 0.833+-0.050 for fMRI).

研究の動機と目的

• 非線形モデルを用いてsMRIとfMRIデータを統合することで、統合的分類の正確性を向上させること。
• 小規模な脳画像データセットの課題を解決するため、合成データ生成による事前学習を実施すること。
• 線形マルチモーダル解析の限界を克服するため、非線形相互作用を持つ深層ニューラルネットワークを採用すること。
• 合成データによる正則化を通じて、マルチモーダル分類における不確実性を低減し、一般化性能を向上させること。
• 限られた神経画像データセットにおいて、事前学習済みの深層学習モデルを用いる可能性を実証すること。

提案手法

• マルチモーダルMLPアーキテクチャを設計し、sMRIおよびfMRI入力に対して個別のユニモーダルMLPを設け、それらの最終層を連結した。
• sMRIデータはグレイマター濃度（GMC）マップに処理され、fMRIデータは低周波フラクタルの振幅（ALFF）マップに低次元化され、特徴ベースの統合が行われた。
• 合成データジェネレータを用いて各モダリティの入力層を事前学習し、小規模なデータセット問題を緩和するため20万件を超える合成サンプルを提供した。
• 事前学習段階でミニバッチ正規化（MVN）とリジェクションサンプリングを用い、学習の安定性と耐障害性を向上させた。
• 過学習を防ぐために、マルチモーダル学習段階でL2重み減衰およびドロップアウトといった正則化技術を適用した。
• 性能評価には8分割交差検証を用い、受信器操作特性曲線下積分（AUC）を主な指標とした。

実験結果

リサーチクエスチョン

• RQ1 非線形マルチモーダル深層学習モデルは、線形手法を上回る統合的分類性能を実現できるか？
• RQ2 合成データの事前学習は、小規模な神経画像データセットにおけるMLPの性能と一般化能力を向上させるか？
• RQ3 sMRIとfMRIデータの統合は、単体のモダリティよりも予測能が高いか？
• RQ4 AUCと交差検証の各foldにおける分散の観点から、提案モデルは標準分類器と比較してどのように異なるか？
• RQ5 合成データによる事前学習は、マルチモーダル脳画像分類における不確実性と過学習をどの程度低減するか？

主な発見

• 提案されたマルチモーダルMLPは平均AUC 0.850 ± 0.051を達成し、最高の個別モダリティ（fMRI: 0.833 ± 0.050、p = 0.016）を著しく上回った。
• 他の分類器と比較して、交差検証の各foldにおけるAUCの分散が小さく、より高い耐障害性と低い不確実性を示した。
• 合成データによる事前学習は分類性能の向上と分散の低減をもたらし、ユニモーダルMLPに対する正則化効果があると示唆された。
• sMRIとfMRIデータの統合は、単体のモダリティよりも高い予測力を持つことが確認され、補完的情報の存在を裏付けた。
• 合成データジェネレータの活用により、304例（患者135例、対照群169例）という限定的な実データセットでも効果的な学習が可能になった。
• 提案モデルは、SVM、ロジスティック回帰、ランダムフォレストなどの複数の標準分類器を上回り、低いAUCと高い標準偏差を示した。