[논문 리뷰] Vision Transformers in Medical Computer Vision -- A Contemplative Retrospection

Arshi Parvaiz, Muhammad Anwaar Khalid외 4명|arXiv (Cornell University)|2022. 03. 29.

COVID-19 diagnosis using AI인용 수 6

한 줄 요약

이 논문은 의료 컴퓨터 비전 분야에서 비전 트랜스포머(ViTs)에 대한 종합적인 후향적 검토를 제공하며, 질병 분류, 세분화, 병변 탐지, 다중 모odal 영상 복원에 이르기까지 응용을 분석한다. 자기주의 어텐션 메커니즘(self-attention mechanism)이 장거리 의존성을 포착하는 데 기여하는 바를 강조하며, 핵심 데이터셋과 성능 지표를 검토하고, 분야 내 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Recent escalation in the field of computer vision underpins a huddle of algorithms with the magnificent potential to unravel the information contained within images. These computer vision algorithms are being practised in medical image analysis and are transfiguring the perception and interpretation of Imaging data. Among these algorithms, Vision Transformers are evolved as one of the most contemporary and dominant architectures that are being used in the field of computer vision. These are immensely utilized by a plenty of researchers to perform new as well as former experiments. Here, in this article we investigate the intersection of Vision Transformers and Medical images and proffered an overview of various ViTs based frameworks that are being used by different researchers in order to decipher the obstacles in Medical Computer Vision. We surveyed the application of Vision transformers in different areas of medical computer vision such as image-based disease classification, anatomical structure segmentation, registration, region-based lesion Detection, captioning, report generation, reconstruction using multiple medical imaging modalities that greatly assist in medical diagnosis and hence treatment process. Along with this, we also demystify several imaging modalities used in Medical Computer Vision. Moreover, to get more insight and deeper understanding, self-attention mechanism of transformers is also explained briefly. Conclusively, we also put some light on available data sets, adopted methodology, their performance measures, challenges and their solutions in form of discussion. We hope that this review article will open future directions for researchers in medical computer vision.

연구 동기 및 목표

• 다양한 임상 과제에서 비전 트랜스포머의 통합 및 영향력을 분석하기 위해.
• 의료 컴퓨터 비전 분야에서 사용된 ViT 기반 프레임워크의 체계적인 개요를 제공하여, 아키텍처와 성능를 포함한다.
• 의료 영상에서 복잡한 공간적 의존성을 포착하는 데 있어 자기주의 어텐션의 역할을 분석하기 위해.
• ViT 기반 의료 영상 연구에서 사용된 기존 데이터셋, 방법론, 성능 지표를 평가하기 위해.
• 지속적인 과제를 규명하고 임상 영상에 ViT를 적용하기 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 의료 컴퓨터 비전 분야에 적용된 비전 트랜스포머 아키텍처(예: ViT, Swin Transformer, Swin-Unet)에 대한 체계적 서베이.
• 장거리 특징 모델링을 가능하게 하는 핵심 구성 요소인 자기주의 어텐션 메커니즘의 분석.
• ViT 응용을 영상 분류, 세분화, 탐지, 보고서 생성, 다중 모달 복원으로 분류.
• MRI, CT, X-ray, PET와 같은 일반적으로 사용되는 의료 영상 모odal의 검토 및 ViT와의 통합.
• 다수의 연구에서 보고된 성능 지표(예: 정확도, Dice 점수, AUC)를 종합하여 모델의 효과성 평가.
• 의료 영상에 대한 ViT 구현 시 발생하는 데이터 부족, 도메인 이동, 해석 가능성 과제에 대한 논의.

실험 결과

연구 질문

• RQ1 비전 트랜스포머는 다양한 의료 영상 분석 과제에 어떻게 적응 및 적용되었는가?
• RQ2 의료 영상에서 ViT의 효과를 결정짓는 주요 아키텍처 구성 요소와 어텐션 메커니즘은 무엇인가?
• RQ3 의료 영상 기준 테스트 벤치마크에서 ViT 기반 모델은 전통적인 CNN과 비교해 성능 및 일반화 능력 면에서 어떻게 다른가?
• RQ4 임상 환경에 ViT를 구현할 때 발생하는 주요 과제는 무엇이며, 어떻게 해결되고 있는가?
• RQ5 현재 의료 컴퓨터 비전 분야에서 ViT 응용의 상태에서 도출된 향후 연구 방향은 무엇인가?

주요 결과

• 비전 트랜스포머는 여러 기준 데이터셋에서 최고 성능을 기록하며 의료 영상 분류에서 강력한 성능을 보였다.
• 특히 Swin-Unet을 포함한 ViT 기반 모델은 해부학적 구조와 병변의 세분화 정확도에서 뛰어난 성능을 보였으며, 일부 연구에서는 Dice 점수 0.85를 초과했다.
• ViT를 활용한 다중 모달 융합은 MRI, CT, PET 스캔의 정보를 통합함으로써 진단 정확도를 향상시켰다.
• 자기주의 어텐션 메커니즘은 의료 영상에서 미세한 병변을 탐지하는 데 필수적인 장거리 공간적 의존성을 효과적으로 모델링할 수 있게 하였다.
• 높은 성능에도 불구하고, 데이터 부족, 모델의 해석 가능성, 도메인 이동 등의 과제는 임상 적용에 있어 여전히 주요 장벽으로 남아 있다.
• 이 리뷰는 계산 효율성 향상과 저자료 환경에서의 일반화 능력 향상을 위해 하이브리드 모델과 효율적인 ViT 변종으로의 추세가 증가하고 있음을 규명했다.