[논문 리뷰] Introducing Vision Transformer for Alzheimer's Disease classification task with 3D input

Zilun Zhang, Farzad Khalvati|arXiv (Cornell University)|2022. 10. 03.

Brain Tumor Detection and Classification인용 수 8

한 줄 요약

이 논문은 3D 뷰어전 트랜스포머 기반 모델인 컨volution럴 볼륨 뷰어전 트랜스포머(CVVT)와 얕은 4층 3D 컨볼루션 네트워크(ConVNet3D-4)를 제안하며, 이는 3D MRI 스캔을 이용해 알츠하이머병을 분류하기 위해 설계되었다. 결과적으로 단순한 3D 컨볼루션 네트워크가 더 복잡한 모델들과 유사한 성능을 보이며, 효과적인 알츠하이머병 분류를 위해 얕은 3D 컨볼루션 네트워크가 충분하다는 것을 시사한다.

ABSTRACT

Many high-performance classification models utilize complex CNN-based architectures for Alzheimer's Disease classification. We aim to investigate two relevant questions regarding classification of Alzheimer's Disease using MRI: "Do Vision Transformer-based models perform better than CNN-based models?" and "Is it possible to use a shallow 3D CNN-based model to obtain satisfying results?" To achieve these goals, we propose two models that can take in and process 3D MRI scans: Convolutional Voxel Vision Transformer (CVVT) architecture, and ConvNet3D-4, a shallow 4-block 3D CNN-based model. Our results indicate that the shallow 3D CNN-based models are sufficient to achieve good classification results for Alzheimer's Disease using MRI scans.

연구 동기 및 목표

• 3D MRI 스캔에서 알츠하이머병을 분류하는 데 있어 뷰어전 트랜스포머 기반 모델이 전통적인 CNN 기반 모델보다 우수한 성능을 보이는지 평가하는 것.
• 깊이가 많거나 복잡한 설계 없이도 얕은 3D 컨볼루션 네트워크 아키텍처가 경쟁력 있는 분류 성능을 달성할 수 있는지 조사하는 것.
• 동일한 알츠하이머병 분류 작업에서 새로 제안된 3D 뷰어전 트랜스포머(CVVT)와 경량 3D 컨볼루션 네트워크(ConvNet3D-4)의 성능을 비교하는 것.
• 이 의료 영상 맥락에서 더 단순한 3D 컨볼루션 네트워크 모델이 더 복잡한 아키텍처의 성능을 따라잡거나 초월할 수 있는지 확인하는 것.

제안 방법

• 바코일러티드 볼륨 뷰어전 트랜스포머(CVVT)라고 불리는 3D 뷰어전 트랜스포머의 변종을 제안하며, 이는 볼륨을 토큰으로 간주하고 다중 헤드 자기주의 어텐션을 적용하여 3D MRI 볼륨을 처리한다.
• 모델 복잡성을 최소화하면서도 성능을 유지하기 위해 단지 네 개의 리서드 블록으로 구성된 얕은 4층 3D 컨볼루션 네트워크 아키텍처(ConVNet3D-4)를 설계한다.
• 볼륨 영상 데이터를 처리하기 위해 CNN 기반 모델에서 표준 3D 컨볼루션 레이어, 배치 정규화, 그리고 ReLU 활성화 함수를 적용한다.
• 공개된 알츠하이머병 MRI 데이터셋에서 두 모델 모두에 표준 학습 프rotocol(교차 엔트로피 손실 및 Adam 최적화)을 적용한다.
• 공간적 맥락을 모두 세 개의 차원에서 유지하기 위해 중간 단계의 2D 슬라이스 추출 없이 3D MRI 스캔을 직접 처리한다.
• CVVT에서 패치 기반 임bedding을 사용하여 3D 볼륨 패치를 학습 가능한 벡터로 변환한 후 다중 헤드 자기주의 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 3D MRI 스캔에서 알츠하이머병을 분류하는 데 있어 뷰어전 트랜스포머 기반 모델이 CNN 기반 모델보다 뛰어난 성능을 보이는가?
• RQ2 단지 네 개의 리서드 블록을 가진 얕은 3D 컨볼루션 네트워크가 알츠하이머병 MRI 데이터에서 경쟁력 있는 분류 정확도를 달성할 수 있는가?
• RQ3 제안된 3D 뷰어전 트랜스포머(CVVT)의 성능이 더 깊거나 더 복잡한 모델과 유사하거나 뛰어나게 되는가?
• RQ4 엔드 투 엔드 처리 방식으로 3D 입력 데이터를 사용할 경우, 2D 기반 접근 방식이나 전통적인 3D CNN보다 더 좋은 결과를 얻을 수 있는가?

주요 결과

• 얕은 3D 컨볼루션 네트워크 모델(ConVNet3D-4)이 뛰어난 분류 성능를 보이며, 이는 알츠하이머병 분류에서 복잡한 아키텍처가 반드시 필요하지 않음을 시사한다.
• 제안된 뷰어전 트랜스포머 기반 모델(CVVT)이 경쟁력 있는 성능를 보이며, 이는 자기주의 어텐션 메커니즘이 3D 뇌 MRI 데이터를 효과적으로 모델링할 수 있음을 시사한다.
• 두 모델 모두 표준 알츠하이머병 MRI 기준 데이터셋에서 견고한 성능를 보이며, 3D 컨볼루션 네트워크가 더 복잡한 모델들과 유사한 결과를 도출한다.
• 결과적으로 3D 입력 처리 방식이 2D 슬라이스 기반 방법보다 공간적 맥락을 더 잘 유지하며, 분류 신뢰도를 향상시킨다.
• 이 연구는 3D 컨볼루션 네트워크의 최소한의 깊이로도 높은 성능를 달성할 수 있음을 확인하며, 더 깊은 네트워크가 의료 영상 분류에 필수적이라는 가정을 도전한다.
• 얕은 3D 컨볼루션 네트워크의 성능는 계산 효율성과 모델 단순성은 유지하면서도 진단 정확도를 희생시키지 않음을 시사한다.