[論文レビュー] A Recent Survey of Vision Transformers for Medical Image Segmentation

Asifullah Khan, Zunaira Rauf+14 more|arXiv (Cornell University)|Dec 1, 2023

Advanced Neural Network Applications被引用数 11

ひとこと要約

医用画像分割のための Vision Transformer (ViT) および Hybrid Vision Transformer (HVT) の調査。利点、限界、アーキテクチャ、リアルタイムのモダリティ応用を詳述。

ABSTRACT

Medical image segmentation plays a crucial role in various healthcare applications, enabling accurate diagnosis, treatment planning, and disease monitoring. Traditionally, convolutional neural networks (CNNs) dominated this domain, excelling at local feature extraction. However, their limitations in capturing long-range dependencies across image regions pose challenges for segmenting complex, interconnected structures often encountered in medical data. In recent years, Vision Transformers (ViTs) have emerged as a promising technique for addressing the challenges in medical image segmentation. Their multi-scale attention mechanism enables effective modeling of long-range dependencies between distant structures, crucial for segmenting organs or lesions spanning the image. Additionally, ViTs' ability to discern subtle pattern heterogeneity allows for the precise delineation of intricate boundaries and edges, a critical aspect of accurate medical image segmentation. However, they do lack image-related inductive bias and translational invariance, potentially impacting their performance. Recently, researchers have come up with various ViT-based approaches that incorporate CNNs in their architectures, known as Hybrid Vision Transformers (HVTs) to capture local correlation in addition to the global information in the images. This survey paper provides a detailed review of the recent advancements in ViTs and HVTs for medical image segmentation. Along with the categorization of ViT and HVT-based medical image segmentation approaches, we also present a detailed overview of their real-time applications in several medical image modalities. This survey may serve as a valuable resource for researchers, healthcare practitioners, and students in understanding the state-of-the-art approaches for ViT-based medical image segmentation.

研究の動機と目的

• Vision Transformer が医用画像分割に関連する理由と、長距離依存性をモデル化できる能力を説明する。
• 近年の ViT ベースおよび HVT ベースの分割手法を分類し、それらの特徴を比較する。
• ViT ベースの医用分割におけるリアルタイム適用性とモダリティ別の考慮事項について論じる。

提案手法

• 最近の ViT ベースおよび HVT ベースの医用画像分割手法をレビューし、分類する。
• ViTs の長距離依存性モデリングと誘導バイアスの欠如を含む強みと限界を分析する。
• 局所情報とグローバル情報の両方を捉えるために CNN と ViT 要素を組み合わせたハイブリッドアーキテクチャを強調する。
• 複数の医用画像モダリティにわたるリアルタイムアプリケーションの概要を提供する。

実験結果

リサーチクエスチョン

• RQ1 医用画像分割に使用される主な ViT ベースの戦略は何か。
• RQ2 Hybrid Vision Transformers は局所特徴抽出とグローバルなアテンションをどう扱うか。
• RQ3 ViT ベースの分割におけるリアルタイム適用上の考慮事項とモダリティ特有の課題は何か。
• RQ4 医用画像における ViTs の主な制約と潜在的な緩和アプローチは何か。

主な発見

• ViTs は大規模または相互連結した構造の分割において、効果的な長距離依存性モデリングを可能にする。
• Hybrid Vision Transformers は CNN と ViT 要素を組み合わせ、局所相関とグローバル情報の両方を捉える。
• 本調査は最近の ViT/HVT アプローチを分類し、特定の医用画像モダリティに対応づける。
• ViT ベースの手法は、複数の医用画像モダリティにおけるリアルタイムアプリケーションの文脈で論じられている。