[논문 리뷰] Deep Learning in current Neuroimaging: a multivariate approach with power and type I error control but arguable generalization ability

C. Jiménez-Mesa, Javier Ramı́rez외 6명|arXiv (Cornell University)|2021. 03. 30.

Gene expression and cancer classification참고 문헌 61인용 수 10

한 줄 요약

이 논문은 뇌영상 분야의 딥러닝 분류기의 유의미성을 평가하기 위해 비모수적이고 순열 기반의 통계 프레임워크를 제안한다. 자동에코더와 SVM을 조합하여 차원 감소와 분류를 수행한다. 교차검증과 상한 보정을 적용한 재표본화 방법을 사용하여 유의미성 검정에서 제1종 오류를 잘 통제하고 통계적 검정력도 양호하게 유지하지만, 훈련 정확도와 테스트 정확도 사이의 큰 격차로 인해 일반화 능력은 여전히 제한되어 있다.

ABSTRACT

Discriminative analysis in neuroimaging by means of deep/machine learning techniques is usually tested with validation techniques, whereas the associated statistical significance remains largely under-developed due to their computational complexity. In this work, a non-parametric framework is proposed that estimates the statistical significance of classifications using deep learning architectures. In particular, a combination of autoencoders (AE) and support vector machines (SVM) is applied to: (i) a one-condition, within-group designs often of normal controls (NC) and; (ii) a two-condition, between-group designs which contrast, for example, Alzheimer's disease (AD) patients with NC (the extension to multi-class analyses is also included). A random-effects inference based on a label permutation test is proposed in both studies using cross-validation (CV) and resubstitution with upper bound correction (RUB) as validation methods. This allows both false positives and classifier overfitting to be detected as well as estimating the statistical power of the test. Several experiments were carried out using the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset, the Dominantly Inherited Alzheimer Network (DIAN) dataset, and a MCI prediction dataset. We found in the permutation test that CV and RUB methods offer a false positive rate close to the significance level and an acceptable statistical power (although lower using cross-validation). A large separation between training and test accuracies using CV was observed, especially in one-condition designs. This implies a low generalization ability as the model fitted in training is not informative with respect to the test set. We propose as solution by applying RUB, whereby similar results are obtained to those of the CV test set, but considering the whole set and with a lower computational cost per iteration.

연구 동기 및 목표

• 뇌영상 분야의 딥러닝 응용에 있어 엄격한 통계적 유의성 검정의 부족을 해결하기 위해.
• 통제된 제1종 오류와 통계적 검정력 조건 하에서 뇌영상 분야의 딥러닝 모델 성능을 평가하기 위해.
• 특히 소표본 크기 조건에서 뇌영상 분야의 딥러닝 모델의 일반화 능력을 조사하기 위해.
• 과적합과 위양성 결과를 탐지하기 위해 교차검증과 상한 보정을 적용한 재표본화 방법의 효과성을 비교하기 위해.
• 교차검증에 비해 계산 비용을 크게 낮추면서도 유사한 성능을 유지할 수 있는 계산 효율적인 대안을 제공하기 위해.

제안 방법

• 분류 결과의 통계적 유의미성을 추정하기 위해 비모수적 순열 검정을 사용하며, 레이블 순열을 통해 귀무가설을 시뮬레이션한다.
• 고차원 뇌영상 데이터로부터 저차원 표현을 추출하기 위해 자동에코더를 사용하여 차원 감소를 수행한다.
• 군집 간 구분(예: 알츠하이머병 대조군)을 위해 인코딩된 특징에 대해 서포트 벡터 머신(SVM)을 최종 분류기로 사용한다.
• 두 가지 검증 전략을 평가한다: k-폴드 교차검증과 상한 보정을 적용한 재표본화(RUB), 여기서는 전체 데이터셋을 사용하고 과적합을 보정한다.
• 반복 표본 추출 하에서 순열 검정을 통해 통계적 검정력을 추정하며, 명목상 유의수준 대비 제1종 오류 비율을 모니터링한다.
• 프레임워크는 ADNI, DIAN, 그리고 MCI 예측 데이터셋의 세 가지 데이터셋에 적용되었으며, 이는 일괄군(1조건) 및 이원군(2조건) 설계를 모두 포함한다.

실험 결과

연구 질문

• RQ1 제안된 순열 기반 프레임워크는 딥러닝 기반 뇌영상 분류에서 제1종 오류를 효과적으로 통제하는가?
• RQ2 순열 검정을 사용할 경우 뇌영상 분야의 딥러닝 모델의 통계적 검정력은 어느 정도인가?
• RQ3 교차검증과 상한 보정을 적용한 재표본화 방법 간 뇌영상 분야의 딥러닝 모델 일반화 능력은 어떻게 비교되는가?
• RQ4 제한된 표본 크기의 뇌영상 데이터에서 자동에코더-SVM 파이프라인은 과적합을 얼마나 효과적으로 감소시키는가?
• RQ5 상한 보정을 적용한 재표본화는 교차검증에 비해 계산 비용을 크게 낮추면서도 유사한 성능을 달성할 수 있는가?

주요 결과

• 순열 검정은 교차검증과 상한 보정을 적용한 재표본화 모두에서 명목상 유의수준에 가까운 제1종 오류 비율을 성공적으로 통제하였다.
• 통계적 검정력은 양호하였지만, 교차검증을 사용할 경우 상한 보정을 적용한 재표본화에 비해 낮았다.
• 특히 1조건 이내군 설계에서 훈련 정확도와 테스트 정확도 사이의 큰 격차가 관찰되어 일반화 능력이 열악함을 시사하였다.
• 상한 보정을 적용한 재표본화는 테스트 세트에서 교차검증과 유사한 성능를 달성했지만, 반복당 계산 비용은 크게 감소시켰다.
• 결과적으로, 모델은 위양성과 과적합을 잘 통제하고 있으나, 특히 소표본 크기 조건에서 새로운 데이터에 대한 일반화 능력은 여전히 제한되어 있음을 시사한다.
• 자동에코더와 SVM의 조합은 차원 감소를 효과적으로 수행하고 강력한 분류를 가능하게 하였지만, 훈련 성능와 테스트 성능 사이의 격차는 실제 적용 시의 핵심적 한계를 드러낸다.