[논문 리뷰] NEURO-DRAM: a 3D recurrent visual attention model for interpretable neuroimaging classification

David Wood, James H. Cole외 1명|arXiv (Cornell University)|2019. 10. 10.

Machine Learning in Healthcare참고 문헌 46인용 수 4

한 줄 요약

NEURO-DRAM은 강화학습을 사용하여 부피형 MRI 스캔을 탐색하는 3차원 순환 시각적 주의 모델로, 신경영상 분류에 가장 진단적으로 관련된 뇌 영역에 집중한다. 알츠하이머병 예측 및 경도 인지 장애 예후에서 최신 기술 수준의 정확도를 달성하며, 명시적 지도 없이도 알려진 영상학적 생물학적 마커를 자동으로 식별한다.

ABSTRACT

Deep learning is attracting significant interest in the neuroimaging community as a means to diagnose psychiatric and neurological disorders from structural magnetic resonance images. However, there is a tendency amongst researchers to adopt architectures optimized for traditional computer vision tasks, rather than design networks customized for neuroimaging data. We address this by introducing NEURO-DRAM, a 3D recurrent visual attention model tailored for neuroimaging classification. The model comprises an agent which, trained by reinforcement learning, learns to navigate through volumetric images, selectively attending to the most informative regions for a given task. When applied to Alzheimer's disease prediction, NEURODRAM achieves state-of-the-art classification accuracy on an out-of-sample dataset, significantly outperforming a baseline convolutional neural network. When further applied to the task of predicting which patients with mild cognitive impairment will be diagnosed with Alzheimer's disease within two years, the model achieves state-of-the-art accuracy with no additional training. Encouragingly, the agent learns, without explicit instruction, a search policy in agreement with standardized radiological hallmarks of Alzheimer's disease, suggesting a route to automated biomarker discovery for more poorly understood disorders.

연구 동기 및 목표

• 신경영상에서 표준 3차원 컨volutional 신경망의 한계를 해결하기 위해 과적합, 일반화 능력 부족, 해석 불가능성 등의 문제를 해결한다.
• 비영상 임상 및 인구통계학적 데이터를 자연스럽게 통합하여 주의를 이끌 수 있는 모델을 개발하며, 최종 분류에 이를 직접적으로 의존하지 않는다.
• 주의 경로를 시각화하여 분류 결정에서 가장 영향력 있는 뇌 영역을 밝혀내어 모델의 해석 가능성을 향상시킨다.
• 재학습 없이도 샘플 외 데이터 및 새로운 임상 과제에 대해 제로샷 전이를 가능하게 하여 일반화 능력과 임상 활용도를 높인다.
• 기존 병리학적 영역과 일치하는 주의 정책을 학습함으로써 이해하기 어려운 신경학적 질환에 대한 자동 생물학적 마커 발견을 탐색한다.

제안 방법

• 이산 단계로 3차원 MRI 볼륨을 탐색하는 강화학습 에이전트를 사용하여, 한 번에 작은 3차원 패치에 집중한다.
• 각 주의 패치에서 특징을 추출하기 위해 3차원 컨volutional 신경망을 사용하고, 이를 LSTM 기반 순환 제어기로 전달한다.
• 예측 성능에 기반한 희박한 보상을 사용하여 정책 기반 강화학습을 통해 에이전트를 훈련시켜 분류 정확도를 최대화한다.
• 나이, 성별, 임상 점수 등의 비영상 메타데이터를 맥락 네트워크를 통해 활용하여 에이전트의 주의 정책을 조절한다.
• 주의 경로를 시각화하여 가장 정보가 많은 해부학적 영역을 식별함으로써 해석 가능성을 확보하고 잠재적 생물학적 마커 발견을 지원한다.
• LSTM 은닉 상태가 단계 간의 맥락을 유지하도록 계층적 아키텍처를 사용하여 뇌 볼륨 전반에 걸친 장거리 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 3차원 시각적 주의 모델이 표준 3차원 CNN보다 신경영상 데이터에서 뛰어난 분류 성능을 달성할 수 있는가?
• RQ2 모델은 보다 다양한 스캐너에서 나온 샘플 외 MRI 데이터에 대해 미세조정 없이 일반화 가능한가?
• RQ3 에이전트가 알츠하이머병과 관련된 임상적으로 중요한 뇌 영역(예: 해마, 측두엽-편측 피질)에 주의를 기울이는가?
• RQ4 비영상 임상 및 인구통계학적 데이터를 활용하여 주의 정책을 향상시킬 수 있는가, 그러나 최종 결정에 이를 직접적으로 사용하지는 않는가?
• RQ5 주의 경로가 신경퇴행성 질환에서 자동 생물학적 마커 발견의 대체 지표로 기능할 수 있는가?

주요 결과

• NEURO-DRAM은 구조적 MRI에서 알츠하이머병을 예측하는 데 있어 최신 기술 수준의 분류 정확도를 달성하며, 기준 3차원 컨volutional 신경망보다 유의미하게 뛰어난 성능을 보였다.
• 모델은 샘플 외 데이터에 대해 효과적으로 일반화되며, 다른 스캐너에서 나온 외부 데이터셋에서 테스트했을 때 성능 저하 없이 안정적인 성능을 보였다.
• 경도 인지 장애에서 알츠하이머병으로의 진행을 두 해 이내에 예측할 때, 추가 학습 없이도 최신 기술 수준의 정확도를 달성했다.
• 에이전트는 알츠하이머병의 알려진 영상학적 특징(해마, 해마주변 회선, 측두실, 편측 피질 등)을 체계적으로 방문하는 탐색 정책을 학습했다.
• 주의 경로는 해석 가능하며 임상 지식과 일치하여, 모델이 이해하기 어려운 질환에 대한 자동 생물학적 마커 발견을 이끌 수 있음을 시사한다.
• 비영상 메타데이터의 통합은 분류의 최종 결정에 영상 특징에 의존하는 모델의 특성을 유지하면서도 주의 지도를 향상시켰다.