[論文レビュー] Swin Deformable Attention Hybrid U-Net for Medical Image Segmentation

Lichao Wang, Jiahao Huang+2 more|arXiv (Cornell University)|Feb 28, 2023

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

本稿では、Swin可変的多頭自己注意（SDMSA）と並列畳み込みブランチを統合したハイブリッドU-Netアーキテクチャ、SDAH-UNetを提案する。このモデルは、心筋や腫瘍などの顕著な領域に的を絞った動的かつ可変的な注意を可能にすることで、計算の冗長性を低減し、変形点を通じて視覚的な説明を提供する。ACDCおよびBraTS2020データセットにおいて最先端の性能を達成し、左心室のセグメンテーションで92.23%のDSCを達成した。

ABSTRACT

Medical image segmentation is a crucial task in the field of medical image analysis. Harmonizing the convolution and multi-head self-attention mechanism is a recent research focus in this field, with various combination methods proposed. However, the lack of interpretability of these hybrid models remains a common pitfall, limiting their practical application in clinical scenarios. To address this issue, we propose to incorporate the Shifted Window (Swin) Deformable Attention into a hybrid architecture to improve segmentation performance while ensuring explainability. Our proposed Swin Deformable Attention Hybrid UNet (SDAH-UNet) demonstrates state-of-the-art performance on both anatomical and lesion segmentation tasks. Moreover, we provide a direct and visual explanation of the model focalization and how the model forms it, enabling clinicians to better understand and trust the decision of the model. Our approach could be a promising solution to the challenge of developing accurate and interpretable medical image segmentation models.

研究の動機と目的

• 医療画像セグメンテーションにおけるハイブリッドCNN-Transformerモデルの解釈可能性の欠如に対処すること。
• Swin変換器フレームワークに可変的サンプリングを導入することで、標準的な多頭自己注意における計算の冗長性を低減すること。
• SDMSAによるグローバル構造モデリングと並列畳み込みブランチによるローカルテクスチャ学習を組み合わせることで、セグメンテーション精度を向上させること。
• 変形点を通じてモデルの注目領域を内生的かつ視覚的に説明することにより、臨床医がモデルの意思決定を解釈できるようにすること。
• 説明可能な焦点化を実現することで、高い性能と臨床的信頼性の両立を図ること。

提案手法

• 提案されたSDAH-UNetは、3つのエンコーダーおよびデコーダー・ブロックを備えたU-Netアーキテクチャであり、各ブロックに、可変的注意と畳み込み特徴を統合した新規のSDAPCブロックを組み込む。
• SDAPCブロックは、不規則に形状が変化する解剖的構造（例：左心室壁）に的を絞るために、動的で非一様なサンプリング点を学習するSwin可変的多頭自己注意（SDMSA）モジュールを統合している。
• 並列畳み込みブランチは、局所的なテクスチャディテールを保持し、グローバルな注目メカニズムを補完するインダクティブバイアスを提供する。
• 空間分解能と受容 field を維持するために、小さなカーネルとGELU活性化関数を用いた畳み込み埋め込みモジュールを採用している。
• デコンボリューションによる拡張モジュールが特徴をアップサンプリングし、高分解能の出力を維持する。
• 変形点、注目スコアのヒートマップ、勾配ベースの可視化（SEG-GRAD-CAM）を通じて、モデルの解釈性を向上させ、変形点がターゲットに正確に焦点化していることを示している。

実験結果

リサーチクエスチョン

• RQ1 Swin変換器ベースのアーキテクチャにおける可変的注意は、複雑で不規則な形状を示す医療画像のセグメンテーション精度を向上させることができるか？
• RQ2 可変的注意を畳み込みブランチと統合することで、計算の冗長性を低減しながら特徴学習を強化できるか？
• RQ3 注目メカニズムにおける変形点は、従来の勾配ベースの手法よりも、モデルの焦点化をより正確かつ強固に説明できるか？
• RQ4 提案されたハイブリッドアーキテクチャは、解剖的および病変セグメンテーションの両タスクで、既存の最先端モデルを上回る性能を示すか？
• RQ5 モデルの注目メカニズムは、臨床的信頼性と理解を支援する形で視覚的に解釈可能か？

主な発見

• SDAH-UNetは、ACDCデータセットにおける左心室セグメンテーションで92.23%のDice類似係数（DSC）を達成し、最先端モデルを上回った。
• SDAPCブロックを4つ使用した場合、ACDCデータセットにおける左心室のDSCは96.91%に達し、HD95は1.22 mmであった。
• アブレーションスタディの結果、標準ブロックをSDAPCブロックに置き換えることで、平均してDSCが約1.2%向上した。
• SDAPCブロック内のSDMSAまたは畳み込みブランチのいずれかを削除すると、DSCが約2%低下し、両成分の貢献が確認された。
• 変形点は、注目スコアのヒートマップや勾配ベースの手法よりも、腫瘍の境界や強化領域を捉える際に明確でより強固な視覚的説明を提供した。
• 本モデルは、解剖的（ACDC）および病変（BraTS2020）セグメンテーションの両タスクで優れた性能を示し、一般化能力の高さが裏付けられた。