[논문 리뷰] Longformer: Longitudinal Transformer for Alzheimer's Disease Classification with Structural MRIs

Qiuhui Chen, Yi Hong|arXiv (Cornell University)|2023. 02. 02.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

이 논문은 종단적 구조적 MRI와 사전 계산된 광학 흐름을 활용하여 알츠하이머병(AD) 분류를 향상시키는 하이브리드 3D CNN-Transformer 모델인 LongFormer을 제안한다. 영상-흐름 쌍으로부터 공간적 및 시간적 특징을 융합함으로써 LongFormer는 ADNI 데이터셋에서 93% 이상의 정확도를 달성하여 미세하고 점진적인 뇌 위축 패tern에 대한 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Structural magnetic resonance imaging (sMRI) is widely used for brain neurological disease diagnosis; while longitudinal MRIs are often collected to monitor and capture disease progression, as clinically used in diagnosing Alzheimer's disease (AD). However, most current methods neglect AD's progressive nature and only take a single sMRI for recognizing AD. In this paper, we consider the problem of leveraging the longitudinal MRIs of a subject for AD identification. To capture longitudinal changes in sMRIs, we propose a novel model Longformer, a spatiotemporal transformer network that performs attention mechanisms spatially on sMRIs at each time point and integrates brain region features over time to obtain longitudinal embeddings for classification. Our Longformer achieves state-of-the-art performance on two binary classification tasks of separating different stages of AD using the ADNI dataset. Our source code is available at https://github.com/Qybc/LongFormer.

연구 동기 및 목표

• 단일 시간점(횡단적) MRI 스캔에 의존하는 기존 방법의 한계를 해결하기 위해 뇌 위축의 점진적 성격을 간과하는 문제를 해결한다.
• 결측 데이터, 제한된 데이터셋 크기, 미세한 해부학적 변화 등의 과제가 존재하더라도 종단적 3D MRI 시퀀스로부터 효과적으로 학습할 수 있는 딥 러닝 프레임워크를 개발한다.
• 하이브리드 CNN-Transformer 아키텍처를 통해 3D MRI의 공간적 특징과 사전 계산된 광학 흐름을 통해 캡처한 시간적 변화를 통합한다.
• 모든 가용한 영상-흐름 쌍을 활용하여 분류 성능을 향상시키며, 데이터가 불완전하거나 시간적으로 흐름이 느린 경우에도 효과적으로 대응한다.
• 다양한 공개 데이터셋(ADNI, OASIS, AIBL)에서 종단적 sMRI 데이터를 기반으로 이진 AD 대 비정상 대조(Non-Converter, NC) 분류에 대한 새로운 최신 기술 수준(SOTA) 기준을 설정한다.

제안 방법

• 3D 구조적 MRI 볼륨에서 공간 임베딩을 추출하기 위해 3D CNN 기반(기본 모델: DenseNet121)을 사용하여 입력 차원을 감소시켜 후속 처리에 적합하게 한다.
• 현재 스캔와 이전 스캔 간의 종단적 변화는 사전 계산된 광학 흐름을 통해 캡처되며, 정규화된 형태로 보조 입력 모odal로 사용된다.
• 가변형 크로스 어텐션을 갖춘 쿼리 기반 트랜스포머를 사용하여 MRI와 해당 흐름의 공간적 및 시간적 특징을 동적으로 주시한다.
• 학습 가능한 쿼리를 사용하여 전반적인 맥락 정보를 집약함으로써, 분류를 위해 구분 가능한 시공간 패턴에 초점을 맞출 수 있도록 한다.
• 모델은 영상-흐름 쌍을 기반으로 엔드 투 엔드로 훈련되어, 일부 시간점이 누락된 경우에도 종단적 데이터를 전체적으로 활용할 수 있다.
• 사전 계산된 흐름을 사용함으로써 네트워크가 직접 미세한 시간적 변화를 학습하는 부담을 줄여 훈련의 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머 기반 모델은 종단적 3D MRI로부터 효과적으로 학습하여 단일 시간점 MRI 분석을 초월한 AD 분류 성능을 향상시킬 수 있는가?
• RQ2 이미지 시퀀스에서 직접 학습하는 것과 비교해, 종단적 변화의 대체 척도로 사전 계산된 광학 흐름을 통합함으로써 성능 향상이 이루어지는가?
• RQ3 3D CNN 백본의 선택은 하이브리드 CNN-Transformer 아키텍처의 AD 분류 성능에 어떤 영향을 미치는가?
• RQ4 모델 용량과 분류 정확도의 균형을 고려할 때 트랜스포머 디코더에서 최적의 학습 가능한 쿼리 수는 얼마인가?
• RQ5 제안된 방법은 데이터 완전성과 환자 인구 통계가 상이한 다양한 공개 데이터셋(ADNI, OASIS, AIBL) 간에 일반화 가능한가?

주요 결과

• LongFormer는 모든 세 가지 벤치마크 데이터셋에서 최신 기술 수준 성능를 달성하였으며, ADNI 데이터셋에서 93% 이상의 정확도를 기록하여 여덟 가지 기준 모델을 뛰어넘었다.
• 사전 계산된 광학 흐름을 사용할 경우 이미지 시퀀스에서 직접 학습하는 것보다 더 높은 성능를 보이며, 공간적 및 시간적 특징 학습을 분리하는 것이 효과적임을 입증했다.
• 검토된 CNN 백본 중에서 DenseNet121가 가장 우수한 영상 임베딩을 제공하였고, 트랜스포머 모듈의 추가로 모든 백본에서 정확도가 향상되었다.
• 트랜스포머 디코더에서 최적의 학습 가능한 쿼리 수는 125개였으며, 이는 모든 데이터셋에서 가장 높은 분류 정확도를 달성했다.
• 제거 실험 결과 종단적 정보, 특히 흐름과 조합된 경우가, 단일 시간점 스캔이 모호한 경우 AD와 NC 환자를 구분하는 데 필수적임을 확인했다.
• 결측 데이터를 효과적으로 처리하기 위해 가용한 모든 영상-흐름 쌍을 활용함으로써, 보간 또는 데이터 필터링 없이도 효과적인 훈련 샘플 수를 증가시켰다.