[논문 리뷰] Reproducible evaluation of diffusion MRI features for automatic classification of patients with Alzheimers disease

Junhao Wen, Jorge Samper‐Gonzàlez외 9명|arXiv (Cornell University)|2018. 12. 28.

Advanced Neuroimaging Techniques and Applications참고 문헌 37인용 수 9

한 줄 요약

이 연구는 알츠하이머병(AD) 분류에서 확산 MRI(dMRI) 특징을 평가하기 위한 재현 가능한 프레임워크를 제안한다. 이 프레임워크는 BIDS 준수 데이터 처리, 표준화된 사전처리 및 특징 추출을 통합한다. 연구는 적절한 특징 선택을 통해 체적 단위 dMRI 특징(FA, MD)이 건강한 노인(CN) 대 알츠하이머병(AD) 분류에서 균형 잡힌 정확도까지 0.82에 도달함을 보여주며, T1w MRI 수준의 성능를 기록한다. 그러나 성능 추정치를 과도하게 높이는 검증 설계의 함정도 지적한다.

ABSTRACT

Diffusion MRI is the modality of choice to study alterations of white matter. In past years, various works have used diffusion MRI for automatic classification of AD. However, classification performance obtained with different approaches is difficult to compare and these studies are also difficult to reproduce. In the present paper, we first extend a previously proposed framework to diffusion MRI data for AD classification. Specifically, we add: conversion of diffusion MRI ADNI data into the BIDS standard and pipelines for diffusion MRI preprocessing and feature extraction. We then apply the framework to compare different components. First, FS has a positive impact on classification results: highest balanced accuracy (BA) improved from 0.76 to 0.82 for task CN vs AD. Secondly, voxel-wise features generally gives better performance than regional features. Fractional anisotropy (FA) and mean diffusivity (MD) provided comparable results for voxel-wise features. Moreover, we observe that the poor performance obtained in tasks involving MCI were potentially caused by the small data samples, rather than by the data imbalance. Furthermore, no extensive classification difference exists for different degree of smoothing and registration methods. Besides, we demonstrate that using non-nested validation of FS leads to unreliable and over-optimistic results: 0.05 up to 0.40 relative increase in BA. Lastly, with proper FR and FS, the performance of diffusion MRI features is comparable to that of T1w MRI. All the code of the framework and the experiments are publicly available: general-purpose tools have been integrated into the Clinica software package (www.clinica.run) and the paper-specific code is available at: https://github.com/aramis-lab/AD-ML.

연구 동기 및 목표

• 알츠하이머병 분류에서 dMRI 특징을 평가하기 위한 표준화되고 재현 가능한 파이프라인을 수립하기 위해.
• 다른 dMRI 특징(체적 단위 대 지역적 특징, FA 대 MD)이 임상군(CN, AD, MCI) 간에 어떻게 성능을 보이는지 비교하기 위해.
• 사전처리 단계, 특징 선택 및 검증 전략이 분류 정확도에 미치는 영향을 조사하기 위해.
• 이전의 dMRI 기반 AD 분류 연구에서 발생하는 재현성 문제를 해결하기 위해 오픈소스, BIDS 준수 도구를 제공하기 위해.
• MCI 분류 과제에서 성능이 제한되는 주요 원인이 데이터 불균형인지, 작은 표본 크기인지 평가하기 위해.

제안 방법

• 프레임워크는 ADNI 코hort의 dMRI 데이터를 일관된 처리를 위해 BIDS 형식으로 표준화한다.
• 운동 및 자석편향 보정, 영상 정규화를 포함한 자동화된 dMRI 사전처리 파이프라인을 구현한다.
• 표준 확산 지표 및 공간 파편화를 사용하여 체적 단위 및 지역적 dMRI 특징(FA, MD)을 추출한다.
• 특징 선택(FS)과 교차검증을 적용하는 통합된 기계학습 파이프라인을 적용하며, 내재적 및 비내재적 검증 간의 명확한 구분을 한다.
• 균형 잡힌 정확도(BA)를 사용하여 다양한 사전처리 및 특징 엔지니어링 선택 사항 간의 엄격한 비교를 수행한다.
• 모든 코드와 실험 워크플로우는 재현 가능성을 확보하기 위해 Clinica 소프트웨어 패키지와 전용 리포지터리에 공개된다.

실험 결과

연구 질문

• RQ1 체적 단위와 지역적 dMRI 특징는 CN 대 AD 환자 분류에서 어떻게 비교되는가?
• RQ2 특징 선택은 분류 성능에 어떤 영향을 미치며, 검증 전략은 신뢰성에 어떻게 영향을 미치는가?
• RQ3 이전 연구에서 MCI 분류 성능이 열악한 이유는 데이터 불균형 때문인가, 작은 표본 크기 때문인가?
• RQ4 다양한 스무딩 및 정렬 방법은 분류 결과에 어떤 영향을 미치는가?
• RQ5 적절한 사전처리 및 검증을 사용할 경우, dMRI 특징는 T1w MRI 수준의 분류 성능를 달성할 수 있는가?

주요 결과

• 특징 선택(FS)은 CN 대 AD 분류 과제에서 균형 잡힌 정확도를 0.76에서 0.82로 크게 향상시켰다.
• 체적 단위 dMRI 특징가 지역적 특징보다 우수했으며, FA와 MD는 유사한 성능를 기록했다.
• MCI 분류 성능이 열악한 것은 데이터 불균형보다는 작은 표본 크기 때문이었다.
• 스무딩 또는 정렬 방법의 정도에 따라 성능 차이가 유의미하게 관찰되지 않았다.
• 비내재적 검증은 과도하게 낙관적인 결과를 초래하여 균형 잡힌 정확도를 0.05에서 0.40의 상승률로 과대평가했다.
• 적절한 특징 선택과 검증을 통해 dMRI 특징는 T1w MRI 수준의 분류 성능를 달성했다.