[논문 리뷰] MedViT: A Robust Vision Transformer for Generalized Medical Image Classification

Omid Nejati Manzari, Hamid Ahmadabadi외 3명|arXiv (Cornell University)|2023. 02. 19.

COVID-19 diagnosis using AI인용 수 9

한 줄 요약

MedViT는 효율적인 컨볼루션 블록과 다주파수 LTB를 갖춘 CNN-Transformer 하이브리드 아키텍처를 제안하여 MedMNIST-2D 데이터셋에서 적대적 공격에 대한 강건하고 일반화된 의학 영상 분류를 목표로 한다.

ABSTRACT

Convolutional Neural Networks (CNNs) have advanced existing medical systems for automatic disease diagnosis. However, there are still concerns about the reliability of deep medical diagnosis systems against the potential threats of adversarial attacks since inaccurate diagnosis could lead to disastrous consequences in the safety realm. In this study, we propose a highly robust yet efficient CNN-Transformer hybrid model which is equipped with the locality of CNNs as well as the global connectivity of vision Transformers. To mitigate the high quadratic complexity of the self-attention mechanism while jointly attending to information in various representation subspaces, we construct our attention mechanism by means of an efficient convolution operation. Moreover, to alleviate the fragility of our Transformer model against adversarial attacks, we attempt to learn smoother decision boundaries. To this end, we augment the shape information of an image in the high-level feature space by permuting the feature mean and variance within mini-batches. With less computational complexity, our proposed hybrid model demonstrates its high robustness and generalization ability compared to the state-of-the-art studies on a large-scale collection of standardized MedMNIST-2D datasets.

연구 동기 및 목표

• 의학 영상에서의 적대적 위협과 도메인 시프트 속에서 강건한 의학 영상 분류를 고무한다.
• 저계산으로 로컬 및 글로벌 특징 모델링을 결합하는 하이브리드 CNN-Transformer 아키텍처를 개발한다.
• 글로벌 구조 특징에 대한 의존을 촉진하고 피쳐 수준의 증강을 도입하여 강건성을 향상시킨다.
• 의료 영상 모달리티 전반에서 정확도와 효율성의 균형을 맞추기 위해 효율적 블록과 다주파수 융합을 제안한다.]
• method:[
• Locally Feed Forward Network (LFFN)와 Multi-Head Convolutional Attention (MHCA)를 결합한 Efficient Convolution Block (ECB)을 도입하여 로컬 특징 학습을 수행한다.
• Efficient Self Attention (ESA)와 MHCA를 사용하여 다주파수 정보를 융합하고 글로벌-로컬 융합을 위한 Local Transformer Block (LTB)을 개발한다.
• 특징 수준에서 학습 데이터를 증강하고 더 매끄러운 결정 경계를 촉진하기 위해 Patch Momentum Changer (PMC)와 함께 Transformer Augmentation Block (TAB)을 사용한다.
• 계산 복잡도를 관리하기 위해 공유된 스테이지-와이 컨볼루션 및 트랜스포머 블록이 있는 계층적 피라미드로 패치 임베딩을 채택한다.
• 의료 환경에서 배포 효율성을 위해 Batch Normalization과 ReLU로 정규화/활성화를 최적화한다.
• 상세한 스테이지 구성과 채널 차원을 갖춘 다수의 MedViT 변형(T/S/L)을 제공한다.]
• research_questions:[
• MedViT가 다양한 의학 영상 모달리티와 도메인 시프트 전반에 걸쳐 강건한 일반화를 달성할 수 있는가?
• ECB와 LTB의 조합이 로컬 및 글로벌 정보를 효율적으로 모델링하는 데 도움이 되는가?
• PMC 증강이 적대적 섭동에 대한 강건성과 매끄러운 결정 경계 향상에 기여하는가?
• 표준화된 MedMNIST-2D 데이터셋에서 정확도와 효율성 측면에서 MedViT가 기본 모델에 비해 어떤 성능을 보이는가?]
• key_findings:[
• MedViT는 MedMNIST-2D 데이터셋에서 최첨단 연구에 비해 강건성과 일반화 우위를 보여준다.
• 표준 self-attention을 컨볼루션 기반 어텐션 및 로컬 피드포워드 네트워크로 대체함으로써 아키텍처의 효율성을 높인다.
• PMC 피처 수준 증강이 토큰 간 상호작용을 확대하고 강건성과 일반화를 향상시킨다.
• LTB가 다주파수 정보를 효과적으로 혼합하여 경량 설계로 성능을 높인다.
• 모델 변형(MedViT-T/S/L)은 상세한 스테이지별 블록과 채널 수를 갖춘 확장 가능한 구성을 제공한다.]
• table_headers:[]
• table_rows:[]

제안 방법

• Introduce Efficient Convolution Block (ECB) combining Locally Feed Forward Network (LFFN) and Multi-Head Convolutional Attention (MHCA) for local feature learning.
• Develop Local Transformer Block (LTB) to fuse multi-frequency information using Efficient Self Attention (ESA) and MHCA for global-local fusion.
• Use a Transformer Augmentation Block (TAB) with Patch Momentum Changer (PMC) to augment training data at feature level and promote smoother decision boundaries.
• Adopt a patch embedding as a hierarchical pyramid with shared stage-wise convolution and transformer blocks to manage computational complexity.
• Optimize norm/activation with Batch Normalization and ReLU for deployment efficiency in medical contexts.
• Provide multiple MedViT variants (T/S/L) with detailed stage configurations and channel dimensions.

실험 결과

연구 질문

• RQ1 Can MedViT achieve robust generalization across diverse medical imaging modalities and domain shifts?
• RQ2 Does the combination of ECB and LTB enhance modeling of local and global information efficiently?
• RQ3 Does the PMC augmentation improve robustness to adversarial perturbations and smooth decision boundaries?
• RQ4 How does MedViT perform relative to baselines on standardized MedMNIST-2D datasets in terms of accuracy and efficiency?

주요 결과

• MedViT demonstrates robustness and generalization advantages over state-of-the-art studies on MedMNIST-2D datasets.
• The architecture achieves high efficiency by replacing standard self-attention with convolution-based attention and local feed-forward networks.
• PMC feature-level augmentation broadens interaction between tokens and improves robustness and generalization.
• LTB effectively mixes multi-frequency information, boosting performance with a lightweight design.
• The model variants (MedViT-T/S/L) provide scalable configurations with detailed stage-wise blocks and channel counts.