[論文レビュー] Deep Learning in current Neuroimaging: a multivariate approach with power and type I error control but arguable generalization ability

C. Jiménez-Mesa, Javier Ramı́rez+6 more|arXiv (Cornell University)|Mar 30, 2021

Gene expression and cancer classification参考文献 61被引用数 10

ひとこと要約

本論文は、神経画像診断における深層学習分類器の有意性を評価するための非パラメトリックで置換に基づく統計枠組みを提案する。自己符号化器とSVMを組み合わせて次元削減と分類を実施する。交差検証と上界補正付き再代入法を用い、型Iエラーを制御し、妥当な統計的パワーを示したが、学習精度とテスト精度の大きな開きにより一般化能力は限定的である。

ABSTRACT

Discriminative analysis in neuroimaging by means of deep/machine learning techniques is usually tested with validation techniques, whereas the associated statistical significance remains largely under-developed due to their computational complexity. In this work, a non-parametric framework is proposed that estimates the statistical significance of classifications using deep learning architectures. In particular, a combination of autoencoders (AE) and support vector machines (SVM) is applied to: (i) a one-condition, within-group designs often of normal controls (NC) and; (ii) a two-condition, between-group designs which contrast, for example, Alzheimer's disease (AD) patients with NC (the extension to multi-class analyses is also included). A random-effects inference based on a label permutation test is proposed in both studies using cross-validation (CV) and resubstitution with upper bound correction (RUB) as validation methods. This allows both false positives and classifier overfitting to be detected as well as estimating the statistical power of the test. Several experiments were carried out using the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset, the Dominantly Inherited Alzheimer Network (DIAN) dataset, and a MCI prediction dataset. We found in the permutation test that CV and RUB methods offer a false positive rate close to the significance level and an acceptable statistical power (although lower using cross-validation). A large separation between training and test accuracies using CV was observed, especially in one-condition designs. This implies a low generalization ability as the model fitted in training is not informative with respect to the test set. We propose as solution by applying RUB, whereby similar results are obtained to those of the CV test set, but considering the whole set and with a lower computational cost per iteration.

研究の動機と目的

• 神経画像診断における深層学習の応用において、きめ細やかな統計的有意性検定が不足しているという問題に対処すること。
• 型Iエラーと統計的パワーを制御した条件下で、神経画像診断における深層学習モデルの性能を評価すること。
• 特に小標本サイズの状況下において、神経画像診断における深層学習モデルの一般化能力を調査すること。
• 交差検証と上界補正付き再代入法の、過学習および偽陽性を検出する有効性を比較すること。
• 交差検証の計算コストを大幅に削減しつつ、同等の性能を維持できる再代入法に上界補正を適用する、計算的に効率的な代替手法を提供すること。

提案手法

• 分類結果の統計的有意性を推定するために、非パラメトリックな置換検定が用いられ、ラベルの置換により帰無仮説を模擬する。
• 次元削減のために自己符号化器が用いられ、高次元の神経画像データから低次元表現を抽出する。
• グループ間の区別（例：アルツハイマー病対対照群）を目的として、符号化された特徴量上でサポートベクターマシン（SVM）を最終分類器として使用する。
• 2つの検証戦略が評価された：k分割交差検証と、全データセットを用い、過学習を補正する上界補正付き再代入法（RUB）。
• 統計的パワーは、繰り返しサンプリング下での置換検定により推定され、型Iエラー率は名目有意水準に対して監視された。
• この枠組みは、ADNI、DIAN、およびMCI予測データセットの3つのデータセットに適用された。これらは、1条件のグループ内設計および2条件のグループ間設計をカバーする。

実験結果

リサーチクエスチョン

• RQ1 提案された置換に基づく枠組みは、深層学習を用いた神経画像診断分類において、型Iエラーを効果的に制御できるか？
• RQ2 置換検定を用いて評価した場合、神経画像診断における深層学習モデルの統計的パワーはどの程度か？
• RQ3 交差検証と上界補正付き再代入法の間で、深層学習モデルの一般化能力はどのように異なるか？
• RQ4 限られた標本サイズの神経画像データにおいて、自己符号化器-SVMパイプラインが過学習をどの程度軽減できるか？
• RQ5 上界補正付き再代入法は、計算コストを大幅に削減しつつ、交差検証と同等の性能を達成できるか？

主な発見

• 置換検定は、交差検証および上界補正付き再代入法の両方において、型Iエラー率を名目有意水準に非常に近い水準で制御できた。
• 統計的パワーは妥当であったが、交差検証を用いた場合に比べ、上界補正付き再代入法を用いた場合の方が高い傾向にあった。
• 特に1条件のグループ内設計において、学習精度とテスト精度の大きな乖離が観察され、一般化能力の低さが示された。
• 上界補正付き再代入法は、テストセットにおいて交差検証と同等の性能を達成したが、イテレーションごとの計算コストは著しく低減された。
• 結果から、モデルは偽陽性や過学習を制御しているものの、特に小標本サイズの状況下では未学習データへの一般化能力が依然として制限されていることが示唆された。
• 自己符号化器とSVMの組み合わせは次元削減を効果的に実現し、堅牢な分類を可能にしたが、学習とテストのパフォーマンスの差が、実運用における重要な制限要因であることを浮き彫りにした。