[論文レビュー] Alzheimer's Disease Brain MRI Classification: Challenges and Insights

Yi R. Fung, Ziqiang Guan+3 more|arXiv (Cornell University)|Jun 10, 2019

Brain Tumor Detection and Classification参考文献 13被引用数 9

ひとこと要約

本論文は、被験者間でMRIスキャンをランダムに分割することで、データ漏洩による過剰な性能評価が生じることを示し、従来のアルツハイマー病MRI分類研究の妥当性に疑問を呈する。患者単位および訪問単位の分割戦略を用いて、最先端モデルが一般化に失敗し、患者分割データでは約70%の正確度にとどまることを示した。これは、評価プロトコルにおける根本的な欠陥を露呈し、ADNIデータセット全体を用いたより厳密で再現可能なベンチマークの構築を求めるものである。

ABSTRACT

In recent years, many papers have reported state-of-the-art performance on Alzheimer's Disease classification with MRI scans from the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset using convolutional neural networks. However, we discover that when we split that data into training and testing sets at the subject level, we are not able to obtain similar performance, bringing the validity of many of the previous studies into question. Furthermore, we point out that previous works use different subsets of the ADNI data, making comparison across similar works tricky. In this study, we present the results of three splitting methods, discuss the motivations behind their validity, and report our results using all of the available subjects.

研究の動機と目的

• MRIスキャンを被験者間でランダムに分割する手法を用いた従来のアルツハイマー病MRI分類研究の妥当性に疑問を呈すること。
• MRI単位、被験者単位、訪問履歴単位の異なるデータ分割戦略が、モデルの一般化性能および性能に与える影響を調査すること。
• 全ADNI MRIスキャンを用いた包括的な評価を提供し、比較のための再現可能性と公平性を確保すること。
• 現在のベンチマークの限界、特に疾患ステージ間の遷移頻度が低く、ラベルが粗いことの影響を浮き彫りにすること。
• 今後のモデルにおいて、臨床的共変量の統合と改善された評価プロトコルの導入を提言すること。

提案手法

• 著者らは、ランダムMRI分割、被験者単位の分割（被験者のすべての訪問データを1つのセットに）、訪問単位の分割（最初のn−1回の訪問を訓練用、n回目をテスト用）の3つのデータ分割戦略を比較した。
• ImageNetで事前学習された2D ResNetおよびDenseNetモデルに加え、全ADNIデータセット上で学習した独自の22層3D ResNetモデルも用いた。
• 研究では4:1の訓練対テスト分割比を用い、各分割法に対して混同行列と正確度スコアを報告した。
• 過学習の評価のため、最後の訪問を除く全訪問で学習し、疾患ステージ遷移が確認された被験者のみでテストするアブレーション実験を実施した。
• 再現可能性を確保するため、すべての訓練およびテスト被験者IDを報告し、従来の研究における重要な欠落を補った。
• 被験者657名の2,731スキャンからなるデータセットの遷移頻度が低く（全152回の遷移）、これがモデルの一般化に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 被験者間でMRIスキャンをランダムに分割することで、同じ被験者のスキャンが訓練およびテストセットに重複し、データ漏洩が生じることで、モデル性能が誇張されているか？
• RQ2 被験者単位の分割では、被騟能のデータが訓練およびテストセットの両方に含まれないため、モデルの正確度および一般化性能にどのような影響を与えるか？
• RQ3 訪問単位の分割では、過去の訪問データに基づいて次のステージを予測するが、これにより性能が向上するか。また、モデルの挙動に何を明らかにするか？
• RQ4 なぜ従来の研究ではADNI MRI分類で高い正確度が報告されているのか。その背後にある方法論的欠陥は何か？
• RQ5 ADNIデータセットにおける疾患ステージ遷移の頻度が低いことが、モデルの学習および一般化に与える影響は何か？

主な発見

• MRIスキャンをランダムに分割すると、正確度が高く（最大85%）なるが、同じ被験者のスキャンが訓練およびテストセットに重複するデータ漏洩のため、無効である。
• 被験者単位の分割では、モデルの正確度が約70%に低下し、未観測の個体への一般化が不十分であることが示された。
• 訪問単位の分割でも正確度は約70%のままであり、モデルが疾患ステージ特徴ではなく、被験者固有の脳構造に依存していることが示唆された。
• アブレーション実験で、疾患ステージ遷移が確認された被験者のみで学習・テストしたところ、正確度は54%にとどまり、モデルが被験者固有の特徴を記憶しているが、ステージ判別可能なパターンを学習していないことが確認された。
• データセットには657名の被験者から2,731スキャンのうち、全152回の疾患ステージ遷移しかなく、遷移が希少であることがモデル学習の挑戦を示している。
• 本研究は、多くの従来研究がADNIデータセットの不一致なサブセットを用いており、テストセットの被験者IDを報告していないため、公平な比較が困難であることを明らかにした。