[논문 리뷰] TADPOLE Challenge: Prediction of Longitudinal Evolution in Alzheimer's Disease

Razvan Marinescu, Neil P. Oxtoby외 9명|arXiv (Cornell University)|2018. 05. 10.

Dementia and Cognitive Impairment Research참고 문헌 23인용 수 100

한 줄 요약

본 논문은 ADNI 데이터를 사용해 5년 간 알츠하이머병 진행의 확률적 예측(임상 상태, ADAS-Cog13, 뇌실 용적)을 crowdsourcing하는 TADPOLE Challenge의 설계에 대해 설명하며, 미래 롤오버에 대한 마감 후 평가를 포함합니다.

ABSTRACT

The Alzheimer's Disease Prediction Of Longitudinal Evolution (TADPOLE) Challenge compares the performance of algorithms at predicting future evolution of individuals at risk of Alzheimer's disease. TADPOLE Challenge participants train their models and algorithms on historical data from the Alzheimer's Disease Neuroimaging Initiative (ADNI) study or any other datasets to which they have access. Participants are then required to make monthly forecasts over a period of 5 years from January 2018, of three key outcomes for ADNI-3 rollover participants: clinical diagnosis, Alzheimer's Disease Assessment Scale Cognitive Subdomain (ADAS-Cog13), and total volume of the ventricles. These individual forecasts are later compared with the corresponding future measurements in ADNI-3 (obtained after the TADPOLE submission deadline). The first submission phase of TADPOLE was open for prize-eligible submissions between 15 June and 15 November 2017. The submission system remains open via the website: https://tadpole.grand-challenge.org, although since 15 November 2017 submissions are not eligible for the first round of prizes. This paper describes the design of the TADPOLE Challenge.

연구 동기 및 목표

• 임상 시험 코호트 선택 및 예후 의사결정을 개선하기 위한 알츠하이머병 진행의 조기·정확한 예측의 필요성을 제기합니다.
• 임상 진단, ADAS-Cog13, 뇌실 부피의 세 가지 핵심 결과를 5년의 지평선에서 예측하기 위한 표준화되고 개방된 프레임워크를 도입합니다.
• 예측 제출 이후까지 테스트 데이터를 보류하고 롤오버 ADNI 데이터를 테스트에 사용하는 방식으로 공정하고 편향되지 않은 평가를 제공합니다.

제안 방법

• 참가자들은 역사적 ADNI 파생 데이터(D1) 및 기타 접근 가능한 데이터 세트에 대해 모델을 학습합니다.
• 참가자들은 ADNI-3 롤오버 피험자에 대해 5년 동안 세 가지 결과에 대한 월별 확률 예측치를 제출합니다.
• 예측은 확률적 임상 상태(CN, MCI, AD)와 ADAS-Cog13 및 뇌실 부피에 대한 50% 신뢰구간(CIs)과 함께 최적 추정값을 포함해야 합니다.
• 예측 평가는 마감 이후의 미래 측정치를 사용하여 편향 없는 테스트를 보장합니다.
• 두 가지 제출 유형이 있습니다: 간단형(적어도 하나의 대상을 예측)과 전체형(모든 D2 피험자에 대해 세 가지 대상 모두를 예측).
• 여러 데이터 세트(D1 학습, D2 종단 예측, D3 횡단 예측)가 제공되며, D4는 미래 테스트 세트로 사용됩니다.

실험 결과

연구 질문

• RQ1 1) 어떤 데이터 특징과 모델링 접근 방식이 1-5년간의 알츠하이머 진행 예측에 가장 잘 기여하는가?
• RQ2 2) 학습 데이터 선택(D1 대 커스텀 데이터)과 예측 세트(D2 대 D3)에 따라 예측은 어떻게 달라지는가?
• RQ3 3) 임상 상태, ADAS-Cog13, 및 뇌실 부피에 대한 확률적 예측이 보이지 않는 미래 데이터에서 편향되지 않은 성능 비교를 제공할 수 있는가?

주요 결과

• 챌린지는 다섯 해에 걸친 임상 상태, ADAS-Cog13, 뇌실 부피의 세 가지 예측 대상을 정의합니다.
• 평가에는 마감 이후의 미래 데이터를 사용해 편향 없는 성능 비교를 보장합니다.
• 예측은 확률적이어야 하며, 상대 클래스 확률 및 연속 척도에 대한 50% CI 형식이 필요합니다.
• 세 가지 표준 데이터 세트(D1, D2, D3)가 제공되며, 커스텀 학습 데이터 및 후처리로 보강할 수도 있습니다.
• 상금 구조(£30,000 총액)는 임상 상태(mAUC), ADAS-Cog13(MAE), 뇌실 부피(MAE) 및 전체 성능에 대해 수여되며, 대학팀과 고등학교 팀에 대한 별도 카테고리가 있습니다.