[논문 리뷰] Scopeformer: n-CNN-ViT Hybrid Model for Intracranial Hemorrhage Classification

Yassine Barhoumi, Ghulam Rasool|arXiv (Cornell University)|2021. 07. 07.

Intracerebral and Subarachnoid Hemorrhage Research참고 문헌 3인용 수 16

한 줄 요약

이 논문은 인트라크라니얼 출혈 분류 성능을 향상시키기 위해 다양한 데이터셋(이미지넷 및 GAN 생성 뇌 CT 영상)으로 사전 훈련된 다수의 Xception CNN에서 추출한 특징 맵을 결합하여 입력하는 n-CNN-ViT 하이브리드 모델인 Scopeformer을 제안한다. 이 모델은 비전 트랜스포머에 입력되기 전에 특징 맵을 스택함으로써 특징의 풍부함과 주의 메커니즘의 효율성을 향상시킨다. 모델은 98.04%의 테스트 정확도와 0.0708의 가중 로그 손실을 기록하여 표준 ViT 대비 향상된 특징 표현력과 주의 효율성을 입증한다.

ABSTRACT

We propose a feature generator backbone composed of an ensemble of convolutional neuralnetworks (CNNs) to improve the recently emerging Vision Transformer (ViT) models. We tackled the RSNA intracranial hemorrhage classification problem, i.e., identifying various hemorrhage types from computed tomography (CT) slices. We show that by gradually stacking several feature maps extracted using multiple Xception CNNs, we can develop a feature-rich input for the ViT model. Our approach allowed the ViT model to pay attention to relevant features at multiple levels. Moreover, pretraining the n CNNs using various paradigms leads to a diverse feature set and further improves the performance of the proposed n-CNN-ViT. We achieved a test accuracy of 98.04% with a weighted logarithmic loss value of 0.0708. The proposed architecture is modular and scalable in both the number of CNNs used for feature extraction and the size of the ViT.

연구 동기 및 목표

• 의료 영상 분류 작업에서 비전 트랜스포머 성능을 향상시키기 위해 입력 특징 표현을 풍부하게 하는 것.
• 자연 이미지(ImageNet)와 의료 CT 스캔 간의 도메인 갭을 GAN 증강 사전 훈련을 통해 완화하는 것.
• 다양한 CNN 백본을 사용할 경우 비전 트랜스포머의 주의 메커니즘과 분류 정확도에 어떤 영향을 미치는지 탐색하는 것.
• 의료 영상 분석을 위한 특징 해상도와 다양성을 향상시키는 모듈러하고 확장 가능한 아키텍처를 개발하는 것.
• 저샷 의료 영상 분류 작업에서 CNN으로 추출한 특징이 원본 이미지 입력보다 비전 트랜스포머에 더 우수한 성능을 발휘하는지 입증하는 것.

제안 방법

• 모델은 여러 개의 Xception CNN을 특징 추출기로 사용하며, 각각 다른 데이터 패러다임(이미지넷 및 GAN 생성 뇌 CT 영상)으로 사전 훈련된다.
• 각 CNN의 특징 맵(7×7×1024)을 연결하여 비전 트랜스포머 인코더의 고차원 입력(7×7×n×1024)을 형성한다.
• 작은 버전은 1×1 컨볼루션을 사용해 특징 맵 채널 수를 1024에서 128로 감소시켜 계산 부담을 줄이면서도 성능을 유지한다.
• 비전 트랜스포머 인코더는 패치 간 다중 헤드 자기주의를 통해 전역적 맥락을 포착한다.
• 사전 훈련 전략으로 RSNA 데이터셋에서 사전 훈련된 이미지넷 모델을 미세조정하고, GAN으로 생성된 뇌 CT 영상에서 추가로 사전 훈련하여 유도적 편향을 향상시킨다.
• 모델 아키텍처는 모듈러하여 CNN 수와 비전 트랜스포머 크기의 유연한 확장이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 특징 추출 백본을 사용할 경우 비전 트랜스포머의 입력 특징 품질이 향상되는가?
• RQ2 GAN 증강 의료 영상으로 사전 훈련하면 자연 이미지 사전 훈련과 뇌 CT 스캔 간 도메인 갭이 감소하는가?
• RQ3 특징 추출 백본에 포함된 CNN 수가 출혈 분류 성능에 어떤 영향을 미치는가?
• RQ4 1×1 컨볼루션을 통해 차원을 감소시킨 입력 특징이 계산 비용을 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ5 원본 CT 영상에 직접 적용된 표준 비전 트랜스포머보다 하이브리드 n-CNN-ViT 아키텍처가 더 우수한 성능을 보이는가?

주요 결과

• 다양한 사전 훈련(이미지넷/GAN)을 적용한 3-CNN-ViT 모델이 가장 높은 테스트 정확도 98.04%와 0.07050의 가중 로그 손실을 기록했다.
• 다른 사전 훈련 패러다임을 가진 다수의 CNN을 사용할 경우 단일 또는 동일한 백본을 사용한 경우보다 성능 향상이著명했다.
• GAN 증강 사전 훈련을 적용한 2-CNN-ViT 모델은 7×7×256 입력을 사용해 97.58%의 정확도를 달성했으며, 확장성과 효율성이 입증되었다.
• 원본 이미지에 직접 적용된 표준 ViT 모델은 오직 94.33%의 정확도를 기록하여 CNN 기반 특징 강화의 유용성을 확인했다.
• CNN 수가 증가할수록 성능이 단조롭게 향상되었으며, 이는 특징 다양성이 비전 트랜스포머의 주의 메커니즘과 분류 성능을 향상시킨다는 것을 시사한다.
• 모듈러한 설계 덕분에 CNN 수와 비전 트랜스포머 크기의 다양한 확장이 가능하여 다양한 하드웨어 환경에 효율적으로 배포할 수 있다.