[논문 리뷰] Vision Transformer for Classification of Breast Ultrasound Images

Behnaz Gheflati, Hassan Rivaz|arXiv (Cornell University)|2021. 10. 27.

AI in cancer detection참고 문헌 18인용 수 4

한 줄 요약

이 연구는 제한된 의료 데이터셋 크기 문제를 극복하기 위해 사전 훈련된 ViT 모델을 활용하여 유방 초음파(US) 영상 분류를 위한 시각적 트랜스포머(ViT)를 도입한다. 결과적으로 ViT 모델은 최신의 CNN과 비교해 유사하거나 뛰어난 정확도(86.7%)와 AUC(0.95)를 달성하여, US 영상에서 전역적인 해부학적 종속성을 포착하는 자기주의(self-attention)의 효과성을 입증한다.

ABSTRACT

Medical ultrasound (US) imaging has become a prominent modality for breast cancer imaging due to its ease-of-use, low-cost and safety. In the past decade, convolutional neural networks (CNNs) have emerged as the method of choice in vision applications and have shown excellent potential in automatic classification of US images. Despite their success, their restricted local receptive field limits their ability to learn global context information. Recently, Vision Transformer (ViT) designs that are based on self-attention between image patches have shown great potential to be an alternative to CNNs. In this study, for the first time, we utilize ViT to classify breast US images using different augmentation strategies. The results are provided as classification accuracy and Area Under the Curve (AUC) metrics, and the performance is compared with the state-of-the-art CNNs. The results indicate that the ViT models have comparable efficiency with or even better than the CNNs in classification of US breast images.

연구 동기 및 목표

• 유방 초음파(US) 영상의 자동 분류를 위한 시각적 트랜스포머(ViT)의 가능성 탐색.
• 제한된 의료 US 데이터셋에서 전이 학습을 활용한 사전 훈련된 ViT 모델의 성능 평가.
• 분류 정확도 및 AUC 측면에서 ViT 기반 모델과 최신의 CNN과의 성능 비교.
• 데이터 증강 및 데이터셋 크기가 ViT 성능에 미치는 영향 분석.
• 저데이터 환경에서 효율적인 피지터닝을 위한 최적의 ViT 아키텍처 도출

제안 방법

• 다양한 크기의 사전 훈련된 시각적 트랜스포머(ViT) 모델(B/32, S/32, R/16 등)을 전이 학습을 통해 유방 US 영상 데이터셋에 피지터링.
• 이미지를 패치로 분할하고 임bedding 처리하며, 분류를 위해 클래스 토큰을 사용, 표준 ViT 아키텍처 따름.
• 일반화 성능 향상을 위해 경량 자르기, 회전, 밝기, 대비 조정 등의 데이터 증강 기법 적용.
• 다양한 데이터셋(BUSI, B, BUSI+B)에서 분류 정확도 및 AUC 지표를 사용해 성능 평가.
• 모델 일반화 향상을 위해 BUSI+B 데이터셋( BUSI 및 B 데이터셋 통합)에서 피지터링 수행.
• 동일한 전이 학습 프rotocol를 사용해 최신의 CNN(ResNet, VGG, Inception, NASNet)과 비교 실험 수행.

실험 결과

연구 질문

• RQ1 시각적 트랜스포머는 최신의 CNN과 비교해 유방 초음파 영상 분류에서 경쟁력 있거나 뛰어난 성능을 낼 수 있는가?
• RQ2 데이터 증강 기법은 작은 의료 US 영상 데이터셋에서 피지터링된 ViT 모델의 성능에 어떤 영향을 미치는가?
• RQ3 여러 데이터셋(예: BUSI + B)을 통합함으로써 ViT 모델의 일반화 능력 및 성능에 어떤 영향을 미치는가?
• RQ4 유방 초음파 영상 분류에 있어 성능과 계산 효율성의 최적 균형을 이루는 ViT 아키텍처는 무엇인가?(예: B/32, S/32)
• RQ5 제한된 훈련 데이터가 있는 상황에서도 ViT 모델은 유방 초음파 영상에서 장거리 공간적 종속성을 효과적으로 학습하는가?

주요 결과

• ViT-B/32 모델은 BUSI+B 데이터셋에서 가장 높은 분류 정확도 86.7%와 AUC 0.95를 기록하며, 다른 ViT 및 CNN 아키텍처를 능가했다.
• ViT 모델은 특히 VGG, Inception, NASNet와 같은 작은 모델들에 비해 유사하거나 뛰어난 성능을 보였다.
• 데이터 증강 기법은 ViT 성능 향상에 기여하지 않았으며, 이는 특정한 초음파 영상의 물리적 특성에 비추어 별도의 이점이 없음을 시사한다.
• BUSI 및 B 데이터셋을 통합한 BUSI+B 데이터셋은 모델 성능 향상에 크게 기여했으며, B/32 모델은 이 통합 데이터셋에서 86.7% 정확도와 0.95 AUC를 달성했다.
• 작은 ViT 모델들(B/32 등)은 더 큰 모델(S/32, R/16 등)과 거의 동일한 성능를 보였으며, 이는 높은 효율성과 낮은 계산 비용을 의미한다.
• 다양한 ViT 아키텍처 간 일관된 성능은 작은 모델이 훈련 시간과 자원 소비를 줄일 수 있어 피지터링에 더 바람직하다는 것을 시사한다.