[論文レビュー] Multi-dimension Transformer with Attention-based Filtering for Medical Image Segmentation

Wentao Wang, Xi Xiao+6 more|arXiv (Cornell University)|May 20, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用数 3

ひとこと要約

本稿では、パッチ埋め込みにおける注目ベースのノイズフィルタリングを統合し、空間的およびチャネル次元にわたる自己注意を拡張することで特徴表現を向上させる、医療画像セグメンテーション向けの多様なトランスフォーマー（MDT-AF）を提案する。この手法は、低SNR環境下でも特徴学習の耐性を高め、より豊富な特徴表現を可能にすることで、3つの公的ベンチマークで最先端の性能を達成した。

ABSTRACT

The accurate segmentation of medical images is crucial for diagnosing and treating diseases. Recent studies demonstrate that vision transformer-based methods have significantly improved performance in medical image segmentation, primarily due to their superior ability to establish global relationships among features and adaptability to various inputs. However, these methods struggle with the low signal-to-noise ratio inherent to medical images. Additionally, the effective utilization of channel and spatial information, which are essential for medical image segmentation, is limited by the representation capacity of self-attention. To address these challenges, we propose a multi-dimension transformer with attention-based filtering (MDT-AF), which redesigns the patch embedding and self-attention mechanism for medical image segmentation. MDT-AF incorporates an attention-based feature filtering mechanism into the patch embedding blocks and employs a coarse-to-fine process to mitigate the impact of low signal-to-noise ratio. To better capture complex structures in medical images, MDT-AF extends the self-attention mechanism to incorporate spatial and channel dimensions, enriching feature representation. Moreover, we introduce an interaction mechanism to improve the feature aggregation between spatial and channel dimensions. Experimental results on three public medical image segmentation benchmarks show that MDT-AF achieves state-of-the-art (SOTA) performance.

研究の動機と目的

• 医療画像における低SNRが特徴学習とセグメンテーション精度を妨げるという課題に対処すること。
• 視覚トランスフォーマーの表現能力を向上させ、医療画像セグメンテーションに不可欠な複雑な空間的およびチャネルワイドな依存関係を捉える能力を高めること。
• 医療画像における長距離および多次元特徴をモデル化する際の標準的自己注意の限界を克服すること。
• 高度なトレーニング戦略に依存せずに、特徴品質とセグメンテーション精度を向上させる、耐障害性の高いエンドツーエンドフレームワークを開発すること。

提案手法

• 粗い特徴を精錬し、ノイズを抑制する粗いから細かい方向への注目ベースのフィルタリング機構をパッチ埋め込み段階に導入する。
• 自己注意計算の前段階で、不要またはノイズの多い特徴をフィルタリングするのを支援する注目重みを生成するように、パッチ埋め込みモジュールを再設計する。
• 自己注意機構を空間的次元、チャネル次元、および空間的・チャネルの両方の次元にわたって拡張し、より豊かな特徴表現を可能にする。
• 空間的特徴とチャネル特徴間の特徴相互作用と集約を実行する多様なトランスフォーマーブロックを実装し、識別能を向上させる。
• エンコーダーから得られる階層的特徴を統合するためのマルチレベルMLPデコーダーを採用し、正確なセマンティックセグメンテーションマスクの予測を実現する。
• 注目ベースのフィルタリングと多様な自己注意を統合した一貫性のあるエンコーダ-デコーダー構造を構築し、エンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 パッチ埋め込み段階における注目ベースのフィルタリングは、低SNRの医療画像における特徴品質とノイズ耐性を向上させることができるか？
• RQ2 空間的およびチャネル次元にわたる自己注意の拡張は、医療画像セグメンテーションにおける特徴表現と性能を向上させるか？
• RQ3 提案されたMDT-AFフレームワークは、多様な医療画像ベンチマークにおいて、既存の視覚トランスフォーマーおよびCNNベースの手法と比較してどの程度効果的か？
• RQ4 多様な自己注意機構は、医療画像における複雑な解剖的構造のモデリングをどの程度向上させるか？

主な発見

• Lung X-rayデータセットにおいて、MDT-AFはDSC 97.17%を達成し、ベースラインより+0.33%の向上を示した。
• Skin Lesionデータセットでは、MDT-AFがDSC 94.25%を達成し、ベースラインより+0.09%の改善を示した。
• Kvasir-SEGデータセットでは、MDT-AFがDSC 93.38%を達成し、ベースライン手法より+1.11%の向上を示した。
• アブレーションスタディの結果、注目ベースのフィルタリングと多様な自己注意の両方のコンponentが性能向上に顕著に寄与していることが確認された。
• 完全なMDT-AFコンポーネントを搭載したモデルは、フィルタリング機能を欠いたバージョン（Kvasir-SEGで+1.11% DSC向上）や多様な自己注意を欠いたバージョン（Kvasir-SEGで+0.78% DSC向上）よりも優れた性能を示した。
• 可視化比較では、MDT-AFは他の手法と比較して、特にノイズの多い内視鏡画像において、より明確な境界線と少ない誤分類を生成した。