[論文レビュー] Attention Swin U-Net: Cross-Contextual Attention Mechanism for Skin Lesion Segmentation

Ehsan Khodapanah Aghdam, Reza Azad+2 more|arXiv (Cornell University)|Jan 1, 2022

Cutaneous Melanoma Detection and Management被引用数 6

ひとこと要約

本稿では、皮膚病変分類のためのスキップ接続に、新規のクロスコンテキスト注意力メカニズムを組み込んだ強化されたSwin U-Netアーキテクチャ、Att-SwinU-Netを提案する。標準の連結処理に、エンコーダー特徴量を統合し、クロスコンテキスト特徴量の最適化を可能にする学習可能な注意力モジュールを導入することで、複数のベンチマークデータセットで最先端の性能を達成し、CNNベースおよびTransformerベースのモデルを上回る。

ABSTRACT

Melanoma is caused by the abnormal growth of melanocytes in human skin. Like other cancers, this life-threatening skin cancer can be treated with early diagnosis. To support a diagnosis by automatic skin lesion segmentation, several Fully Convolutional Network (FCN) approaches, specifically the U-Net architecture, have been proposed. The U-Net model with a symmetrical architecture has exhibited superior performance in the segmentation task. However, the locality restriction of the convolutional operation incorporated in the U-Net architecture limits its performance in capturing long-range dependency, which is crucial for the segmentation task in medical images. To address this limitation, recently a Transformer based U-Net architecture that replaces the CNN blocks with the Swin Transformer module has been proposed to capture both local and global representation. In this paper, we propose Att-SwinU-Net, an attention-based Swin U-Net extension, for medical image segmentation. In our design, we seek to enhance the feature re-usability of the network by carefully designing the skip connection path. We argue that the classical concatenation operation utilized in the skip connection path can be further improved by incorporating an attention mechanism. By performing a comprehensive ablation study on several skin lesion segmentation datasets, we demonstrate the effectiveness of our proposed attention mechanism.

研究の動機と目的

• U-Netアーキテクチャにおける局所的受容 field の制限を解消すること。
• 標準の連結処理を注意力ベースのメカニズムに置き換えることで、スキップ接続における特徴量の再利用性を向上させること。
• 複雑な皮膚病変の分類を改善するため、Swin U-Netにおける長距離依存性モデリングを強化すること。
• ハイブリッド注意力メカニズムを用いて、皮膚病変分類ベンチマークで最先端の性能を達成すること。

提案手法

• スキップ接続に二段階の注意力メカニズムを提案：まず、エンコーダーブロックから重要なトークンを強調するための注意力重みを転送する。次に、異なるスケール間で特徴量を精緻化するクロスコンテキスト注意力メカニズムを適用する。
• 提案された注意力モジュールをSwin U-Netのスキップ接続経路に統合し、標準の連結処理を学習可能な注意力ベースの特徴量統合に置き換える。
• 空間的およびチャネルワイドの依存性を別々にモデル化する二重ブランチ注意力機構を採用し、特徴量表現を向上させる。
• エンコーダーおよびデコーダー経路における局所的およびグローバルな特徴量モデリングに、Swin Transformerのシフトドウインドウメカニズムを活用する。
• 注意力モジュールの配置、入力解像度、モデルスケール、および部品の削除が与える影響を評価するためのアブレーションスタディを実施する。
• 標準の分類損失関数を用いて、複数の皮膚病変データセット上でモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続における注意力メカニズムは、U-Netアーキテクチャにおける特徴量再利用性および分類精度を向上させることができるか？
• RQ2 提案されたクロスコンテキスト注意力メカニズムは、スキップ接続における標準の連結処理と比較してどのように優れているか？
• RQ3 皮膚病変分類において、スキップ接続に最適な注意力モジュールの数と配置は何か？
• RQ4 提案手法は、既存のCNNベースおよびTransformerベースのモデルを皮膚病変分類ベンチマークで上回るか？
• RQ5 空間的およびチャネル注意力のコンponentは、最終的な性能にそれぞれどのように寄与しているか？

主な発見

• ISIC2017では、Dice類似係数（DSC）が0.9240を達成し、以前の最先端手法（TMU-Net）を0.0076上回った。
• ISIC2018ではDSCが0.9105、PH2では0.9504を記録し、すべてのデータセットで一貫した優位性を示した。
• アブレーションスタディの結果、スキップ接続に3つの注意力モジュールを適用した場合が最良の性能を示し、DSCは0.8987から0.9240に上昇した。
• 空間的またはクロスコンテキスト注意力モジュールを削除すると、それぞれDSCが0.0039および0.0044低下し、両者の個別貢献が確認された。
• ISIC2017では96.56%の精度を達成し、高い分類の一貫性と偽陽性の低減を示した。
• 定性的な結果では、TransUNetおよびSwin U-Netと比較して、より滑らかで正確な分類マスクが得られ、特に低分割化アーチファクトの低減が顕著であった。