[논문 리뷰] Alzheimer's Disease Brain MRI Classification: Challenges and Insights

Yi R. Fung, Ziqiang Guan외 3명|arXiv (Cornell University)|2019. 06. 10.

Brain Tumor Detection and Classification참고 문헌 13인용 수 9

한 줄 요약

이 논문은 랜덤으로 환자 간 MRI 스캔을 분할하는 방식이 데이터 누출로 인해 과도하게 낙관적인 성능을 유도하므로, 이전 알츠하이머병 MRI 분류 연구의 타당성을 도전한다. 환자 수준 및 방문 수준의 분할 전략을 사용하여, 최신 기술 모델이 일반화에 실패하고 환자 분할 데이터에서 약 70%의 정확도를 기록함을 보여주며, 평가 프로토콜의 심각한 결함을 드러내고, 전체 ADNI 데이터셋을 사용한 보다 엄격하고 재현 가능한 벤치마크의 필요성을 제기한다.

ABSTRACT

In recent years, many papers have reported state-of-the-art performance on Alzheimer's Disease classification with MRI scans from the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset using convolutional neural networks. However, we discover that when we split that data into training and testing sets at the subject level, we are not able to obtain similar performance, bringing the validity of many of the previous studies into question. Furthermore, we point out that previous works use different subsets of the ADNI data, making comparison across similar works tricky. In this study, we present the results of three splitting methods, discuss the motivations behind their validity, and report our results using all of the available subjects.

연구 동기 및 목표

• 랜덤으로 MRI 스캔을 분할하는 방식을 사용한 이전 알츠하이머병 MRI 분류 연구의 타당성을 도전하기 위해.
• MRI 스캔, 환자, 방문 이력 기반의 서로 다른 데이터 분할 전략이 모델의 일반화 및 성능에 어떤 영향을 미치는지 조사하기 위해.
• 모든 이용 가능한 ADNI MRI 스캔을 사용하여 종합적인 평가를 수행하여 비교의 재현 가능성과 공정성을 확보하기 위해.
• 현재 벤치마크의 한계, 특히 질병 단계 간 전이 빈도가 낮고 레이블이 과도하게 간단한 점을 부각하기 위해.
• 미래의 모델에서 평가 프로토콜을 개선하고 임상 공변량을 통합할 것을 촉구하기 위해.

제안 방법

• 저자는 랜덤 MRI 분할, 환자 수준 분할(한 환자의 모든 방문 기록을 한 집합에 포함), 방문 수준 분할(첫 n−1회 방문은 훈련, n번째 방문은 테스트)의 세 가지 데이터 분할 전략을 비교한다.
• 저자들은 ImageNet으로 사전 훈련된 2D ResNet 및 DenseNet 모델과, 전체 ADNI 데이터셋에서 훈련한 자체 제작 22층 3D ResNet 모델을 모두 훈련하고 평가한다.
• 연구는 훈련 대 테스트 비율을 4:1로 설정하고, 각 분할 방법에 대해 혼동 행렬과 정확도 점수를 보고한다.
• 과적합 여부를 평가하기 위해, 마지막 방문을 제외한 모든 방문 기반으로 훈련하고, 질병 단계 전이가 알려진 환자들만으로 테스트하는 아블레이션 실험을 수행한다.
• 재현 가능성을 확보하기 위해, 모든 훈련 및 테스트 환자 식별자를 기재하였으며, 이는 이전 연구에서의 핵심적 결함을 메우는 데 기여한다.
• 저자들은 데이터셋의 낮은 전이 빈도(657명의 환자에서 총 152건의 전이)와 그로 인한 모델 일반화에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 랜덤으로 환자 간 MRI 스캔을 분할하는 방식은 동일한 환자의 스캔이 훈련 및 테스트 세트에 모두 포함될 수 있는 데이터 누출로 인해 모델 성능을 과도하게 높게 평가하는가?
• RQ2 모든 환자의 데이터가 훈련 및 테스트 세트에 완전히 분리되는 환자 수준의 분할 전략은 모델 정확도와 일반화에 어떤 영향을 미치는가?
• RQ3 방문 수준의 분할 전략은 이전 방문 기반으로 다음 단계를 예측하는 방식으로, 더 높은 성능을 낼 수 있으며, 이는 모델의 행동 양상에 대해 무엇을 드러내는가?
• RQ4 이전 연구들이 ADNI MRI 분류에서 높은 정확도를 보고한 이유는 무엇이며, 이러한 결과를 뒷받받을 수 있는 방법론적 결함는 무엇인가?
• RQ5 ADNI 데이터셋에서 질병 단계 전이 빈도가 낮은 것이 모델 학습 및 일반화에 어떤 영향을 미치는가?

주요 결과

• 랜덤으로 MRI 스캔을 분할하면 최대 85%의 높은 정확도를 기록하지만, 동일한 환자의 스캔이 훈련 및 테스트 세트에 모두 포함될 수 있는 데이터 누출로 인해 이는 잘못된 결과이다.
• 환자 수준의 분할 전략을 적용하면 모델 정확도가 약 70%로 떨어지며, 이는 새로운 개인에 대한 일반화 능력이 떨어짐을 시사한다.
• 방문 수준의 분할 전략을 사용할 경우 정확도는 약 70%로 유지되며, 이는 모델이 질병 단계 특징보다 환자 고유의 뇌 구조에 의존하고 있음을 시사한다.
• 질병 단계 전이가 알려진 환자들만으로 테스트하는 아블레이션 실험 결과, 정확도는 단지 54%에 불과하여, 모델이 질병 단계 구분 특징을 학습하기보다는 환자 고유의 특징을 암기하고 있음을 확인한다.
• 데이터셋에는 총 2,731건의 스캔에서 657명의 환자에게서 총 152건의 질병 단계 전이만 존재하여, 희박한 전이 빈도에서 학습하는 데서 오는 과제를 드러낸다.
• 본 연구는 많은 이전 연구들이 ADNI 데이터셋의 일관되지 않은 부분집합을 사용하고 있으며, 테스트 세트의 식별자를 공개하지 않아 공정한 비교가 어려운 점을 드러냈다.