[논문 리뷰] ADAPT: Alzheimer Diagnosis through Adaptive Profiling Transformers

Yifeng Wang, Ke Chen외 1명|arXiv (Cornell University)|2024. 01. 12.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

MedTransformer는 3D 뇌 MRI 스캔을 axial, coronal, 그리고 sagittal 단면으로 분해하는 2D Vision Transformer 기반 모델을 제안한다. 공유 및 차원별로 특화된 자기주의, 내부 및 상호 차원 간의 교차주의, 그리고 새로운 융합 주의 메커니즘을 사용하여 알츠하이머병 분류 성능을 향상시킨다. 다양한 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ADNI 데이터셋에서 형태학적 증강 기법을 제거한 변형 대비 9.03%의 정확도 향상을 기록하였다.

ABSTRACT

Automated diagnosis of Alzheimer Disease(AD) from brain imaging, such as magnetic resonance imaging (MRI), has become increasingly important and has attracted the community to contribute many deep learning methods. However, many of these methods are facing a trade-off that 3D models tend to be complicated while 2D models cannot capture the full 3D intricacies from the data. In this paper, we introduce a new model structure for diagnosing AD, and it can complete with performances of 3D models while essentially is a 2D method (thus computationally efficient). While the core idea lies in new perspective of cutting the 3D images into multiple 2D slices from three dimensions, we introduce multiple components that can further benefit the model in this new perspective, including adaptively selecting the number of sclices in each dimension, and the new attention mechanism. In addition, we also introduce a morphology augmentation, which also barely introduces new computational loads, but can help improve the diagnosis performances due to its alignment to the pathology of AD. We name our method ADAPT, which stands for Alzheimer Diagnosis through Adaptive Profiling Transformers. We test our model from a practical perspective (the testing domains do not appear in the training one): the diagnosis accuracy favors our ADAPT, while ADAPT uses less parameters than most 3D models use.

연구 동기 및 목표

• 고비용의 계산과 데이터 부족 문제로 인해 3D CNN 및 순수 3D 트랜스포머의 한계를 해결하기 위해.
• 3D MRI의 2D 단면에 2D 비전 트랜스포머를 활용하여 3D 모델의 비효율성과 낮은 일반화 능력을 극복하기 위해.
• axial, coronal, 그리고 sagittal 평면 간의 특화된 주의 메커니즘을 통해 특징 추출 및 상호 단면 간의 종속성 모델링을 향상시키기 위해.
• 침식과 팽창 기반의 새로운 형태학적 증강 기법을 통해 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 기존 방법 및 변형된 모델 대비 다기관 데이터셋(ADNI, AIBL, MIRIAD, OASIS)에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 3D 뇌 MRI 볼륨을 상호 수직인 3개의 2D 단면 순서로 분해: axial, coronal, 그리고 sagittal 시각.
• 모든 3개 차원에 걸쳐 공유된 자기주의 인코더를 사용하여 공통적인 공간 패턴을 학습한다.
• 각 시각 방향 내에서 고유한 구조적 특징을 포착하기 위해 차원별로 특화된 자기주의 인코더를 사용한다.
• 동일한 해부학적 평면 내에서 단면 간의 특징을 통합하기 위해 내부 차원 간 교차주의를 적용한다.
• axial, coronal, 그리고 sagittal 시각 간의 표현을 융합하기 위해 상호 차원 간 교차주의를 도입한다.
• 다중 시점 특징을 융합하면서 고유한 정보를 유지하는 새로운 융합 주의 메커니즘을 제안하여 전역적 맥락 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 2D 비전 트랜스포머 기반 모델이 다수의 해부학적 평면에서 2D 단면을 처리함으로써 3D 뇌 MRI 스캔으로부터 알츠하이머병을 효과적으로 분류할 수 있는가?
• RQ2 공유, 차원별, 내부 차원, 상호 차원 주의 메커니즘의 각각의 차이가 진단 성능에 미치는 영향은 어떠한가?
• RQ3 형태학적 증강 기법이 정상 대비 알츠하이머병 분류에 있어 모델의 일반화 능력과 성능 향상에 얼마나 기여하는가?
• RQ4 각 인코더 블록당 단면 수와 트랜스포머의 깊이(레이어 수)는 모델의 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 클래스 토큰 주의, 융합 주의 등 아키텍처의 각 구성 요소가 최종 진단 성능에 기여하는 정도는 어떠한가?

주요 결과

• OASIS 데이터셋에서 MedTransformer는 테스트 정확도 0.811을 기록하여 다음으로 높은 성능을 낸 변형보다 2.8% 높은 성능을 보였다.
• ADNI 데이터셋에서 MedTransformer는 테스트 정확도 78.1%를 달성하였으며, 형태학적 증강 기법을 제거한 변형 대비 9.03% 향상된 성능을 기록하였다.
• 제거 실험 결과, 융합 주의 메커니즘을 제거할 경우 성능 저하가 가장 크게 발생하여, 이 기법이 특징 통합에 핵심적인 역할을 함을 시사한다.
• 각 시각 차원에서 30개의 단면을 사용할 경우 최적의 성능을 기록하였으며, 단면 수가 적거나 과도하게 많을 경우 정보 부족 또는 노이즈로 인해 성능이 떨어졌다.
• 각 인코더 블록에 3개의 레이어를 사용한 모델(1+1+2+2 구성)이 모든 데이터셋에서 가장 높은 정확도를 기록하여 최적의 깊이 균형을 확보함을 입증하였다.
• 주의 맵의 시각화 결과, MedTransformer가 알츠하이머병의 주요 지표인 위축된 뇌 부위에 집중하고 있음을 확인하여 임상적 해석 가능성과 병리학적 관련성을 입증하였다.