[논문 리뷰] Bayesian deep neural networks for low-cost neurophysiological markers of Alzheimer's disease severity

Wolfgang Fruehwirt, Adam D. Cobb외 12명|arXiv (Cornell University)|2018. 12. 12.

Metabolomics and Mass Spectrometry Studies참고 문헌 9인용 수 12

한 줄 요약

이 연구는 저비용, 비침습적인 정량적 뇌전도측정(QEEG) 지표를 사용하여 알츠하이머병(AD)의 중증도를 예측하기 위해 베이지안 딥 뉴럴 네트워크(BNNs)를 제안한다. 하미льт로니안 몬테카를로(HMC)와 몬테카를로 드롭아웃을 활용한 베이지안 추론을 통해, 대규모 전향적 AD 뇌전도 데이터셋(n=188)에서 뛰어난 회귀 성능과 신뢰할 수 있는 불확실성 추정을 달성하였다. HMC BNN은 몬테카를로 드롭아웃 BNN과 표준 신경망보다 평균제곱오차(MSE)와 예측 불확실성 정량화 측면에서 유의하게 뛰어난 성능을 보였다.

ABSTRACT

As societies around the world are ageing, the number of Alzheimer's disease (AD) patients is rapidly increasing. To date, no low-cost, non-invasive biomarkers have been established to advance the objectivization of AD diagnosis and progression assessment. Here, we utilize Bayesian neural networks to develop a multivariate predictor for AD severity using a wide range of quantitative EEG (QEEG) markers. The Bayesian treatment of neural networks both automatically controls model complexity and provides a predictive distribution over the target function, giving uncertainty bounds for our regression task. It is therefore well suited to clinical neuroscience, where data sets are typically sparse and practitioners require a precise assessment of the predictive uncertainty. We use data of one of the largest prospective AD EEG trials ever conducted to demonstrate the potential of Bayesian deep learning in this domain, while comparing two distinct Bayesian neural network approaches, i.e., Monte Carlo dropout and Hamiltonian Monte Carlo.

연구 동기 및 목표

• 정량적 뇌전도(QEEG) 특징을 활용하여 저비용, 비침습적인 뇌전기능 생물학적 지표를 개발하여 알츠하이머병(AD) 중증도를 평가한다.
• 임상 환경에서 AD 진행 상황 평가에 적합한 객관적, 저비용, 비침습적 생물학적 지표의 부족을 해결한다.
• 베이지안 딥 러닝을 활용하여 희소한 임상 데이터를 다루고, 모델 복잡도를 제어하며, 예측 불확실성 추정을 제공한다.
• 하미틀로니안 몬테카를로(HMC)와 몬테카를로 드롭아웃(MC 드롭아웃)이라는 두 가지 베이지안 신경망 접근법의 성능을 비교하여 MMSE 점수 예측에 활용한다.
• BNN을 활용하여 강건하고 일반화 가능하며 해석 가능한 QEEG 기반 AD 중증도 예측 모델 개발의 가능성을 입증한다.

제안 방법

• 베이지안 신경망(BNNs)은 네트워크 가중치에 대해 정규 사전분포를 적용하고, 회귀 분석을 위해 정규 우도를 사용하여 불확실성 정량화를 가능하게 한다.
• 두 가지 베이지안 추론 방법을 사용한다: 정확한 사후 분포 샘플링을 위한 하미틀로니안 몬테카를로(HMC), 그리고 변분 근사에 대한 몬테카를로 드롭아웃.
• 모델은 느려짐, 복잡성, 기능적 상호작용 영역의 820개 QEEG 지표를 사용하며, 주성분 분석을 통해 정규화 및 5개 성분으로 압축한다.
• 하이퍼파ram터 튜닝 및 일반화 성능 평가를 위해 내재된 5×5 교차검증 프레임워크를 사용하며, 드롭아웃 비율과 가중치 정밀도에 대한 그리드 서치를 포함한다.
• 예측 성능 평가에는 평균제곱오차(MSE)와 표준화된 MSE(SMSE)를 사용하며, SMSE는 예측 분산으로 정규화되어 불확실성 캘리브레이션을 평가한다.
• HMC BNN은 가중치의 사후 분포를 탐색하기 위해 하미틀로니안 역학 기반 샘플링 기법을 사용하는 반면, MC 드롭아웃은 추론 중 확률적 정규화를 적용하여 사후 예측 분포를 근사한다.

실험 결과

연구 질문

• RQ1 베이지안 딥 뉴럴 네트워크는 저비용, 비침습적인 QEEG 지표로부터 알츠하이머병 중증도를 효과적으로 예측할 수 있는가?
• RQ2 희소한 임상 뇌전도 데이터셋에서 하미틀로니안 몬테카를로와 몬테카를로 드롭아웃 BNN의 예측 정확도와 불확실성 정량화 능력은 어떻게 비교되는가?
• RQ3 베이지안 추론을 통합함으로써 임상 신경과학에서 흔한 희소 데이터 환경에서의 모델 일반화 및 강건성 향상이 이루어지는가?
• RQ4 BNN은 임상 의사결정 지원을 위한 AD 진행 상황 모니터링에 신뢰할 수 있는 예측 불확실성 추정을 제공할 수 있는가?
• RQ5 다양한 베이지안 추론 방법은 작은 고차원 신경생리학적 데이터셋에서 과적합을 얼마나 효과적으로 완화하는가?

주요 결과

• HMC 베이지안 신경망은 모든 테스트 세트에서 가장 낮은 평균제곱오차(MSE)인 12.17을 기록했으며, MC 드롭아웃 BNN(MSE: 16.67)과 표준 신경망(MSE: 33.71)을 유의미하게 뛰어넘었다.
• HMC BNN은 더 나은 예측 분산 추정을 위해 표준화된 MSE(SMSE)가 124.02로, MC 드롭아웃 BNN의 948.16보다 훨씬 낮은 불확실성 캘리브레이션 성능을 보였다.
• MC 드롭아웃 BNN은 체계적으로 예측 불확실성을 과소평가하여 높은 SMSE 값을 보였으며, 이는 모드를 향한 변분 추론의 알려진 한계이다.
• 모든 베이지안 모델은 최적의 하이퍼파ram터 설정에서 동일한 두 개의 은닉층(각각 100개 유닛)을 선택하여 아키텍처의 안정성을 입증했다.
• HMC BNN의 성능 우월성은 통계적으로 유의미했으며(p < 0.05), 특히 테스트 세트 5(MSE: 7.65)에서 뚜렷하게 드러나 희소 데이터에서의 강건성을 입증했다.
• 본 연구는 HMC와 MC 드롭아웃 BNN을 QEEG 기반 AD 중증도 예측에 적용한 최초의 사례로서, 확률적이고 해석 가능하며 저비용의 생물학적 지표 개발을 위한 기반을 마련했다.