[論文レビュー] DuAT: Dual-Aggregation Transformer Network for Medical Image Segmentation

Feilong Tang, Qiming Huang+4 more|arXiv (Cornell University)|Dec 21, 2022

AI in cancer detection被引用数 13

ひとこと要約

本稿では、医療画像セグメンテーションのためのDual-Aggregation TransformerネットワークであるDuATを提案する。このモデルは、グローバルからローカルへの空間的集約（GLSA）モジュールと選択的境界集約（SBA）モジュールを統合し、グローバルな文脈モデリングと細粒度の境界保持の両方を向上させる。モデルは6つのベンチマークデータセットで最先端の性能を達成しており、特に小規模対象のセグメンテーションと曇った境界の検出において優れた性能を示し、ETISではmDiceが最大0.876、ISIC-2018では0.822を記録した。

ABSTRACT

Transformer-based models have been widely demonstrated to be successful in computer vision tasks by modelling long-range dependencies and capturing global representations. However, they are often dominated by features of large patterns leading to the loss of local details (e.g., boundaries and small objects), which are critical in medical image segmentation. To alleviate this problem, we propose a Dual-Aggregation Transformer Network called DuAT, which is characterized by two innovative designs, namely, the Global-to-Local Spatial Aggregation (GLSA) and Selective Boundary Aggregation (SBA) modules. The GLSA has the ability to aggregate and represent both global and local spatial features, which are beneficial for locating large and small objects, respectively. The SBA module is used to aggregate the boundary characteristic from low-level features and semantic information from high-level features for better preserving boundary details and locating the re-calibration objects. Extensive experiments in six benchmark datasets demonstrate that our proposed model outperforms state-of-the-art methods in the segmentation of skin lesion images, and polyps in colonoscopy images. In addition, our approach is more robust than existing methods in various challenging situations such as small object segmentation and ambiguous object boundaries.

研究の動機と目的

• トランスフォーマーに基づく医療画像セグメンテーションにおけるローカルディテールの劣化という課題に取り組むこと、特に小規模対象や曇った境界に対して。
• ビジョントランスフォーマーにおけるグローバルな文脈モデリングとローカル特徴の保持のバランスを改善すること。
• 低レベルの境界特徴と高レベルの意味的表現を効果的に融合させることで境界の正確性を向上させること。
• 多様な医療画像処理タスクおよびデータセットに広く一般化できる軽量で頑健なアーキテクチャの開発を目的とする。

提案手法

• グローバルからローカルへの空間的集約（GLSA）モジュールは、エンコーダーからのマルチスケール表現を統合することで、グローバルおよびローカルの空間的特徴を同時に捉え、大規模および小規模対象の局在化を向上させる。
• 選択的境界集約（SBA）モジュールは、低レベル層からの境界に敏感な特徴と高レベル層からの意味的特徴を、境界の微細な修正が可能な形で選択的に融合する。
• GLSAは、グローバル特徴がローカルディテールを上回るのを防ぐために、二重ブランチ機構を用いてグローバルおよびローカルの空間的依存関係を抽出・集約する。
• SBAは、学習可能なアテンションゲートを用いて境界特徴と意味的特徴の重みを動的に決定し、ノイズに過剰に適合することなく、正確な境界の修正を実現する。
• モデルはピラミッドトランスフォーマーベース（PVTv2）に構築されており、SBAおよびGLSAモジュールを複数のデコーダーステージに挿入することで特徴の精錬を強化している。
• ネットワーク全体は、標準的なセグメンテーション損失（例：交差エントロピー損失およびDice損失）を用いてエンドツーエンドで訓練され、セグメンテーションの正確性と境界の忠実度の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 二重集約メカニズムは、医療画像セグメンテーションにおけるグローバルな文脈とローカルディテールの表現を向上させることができるか？
• RQ2 画像アーチファクトや低コントラストの状況下でも、選択的境界集約は細粒度の境界を効果的に保持できるか？
• RQ3 GLSAによるグローバルおよびローカル空間的特徴の統合は、標準的なトランスフォーマーと比較して小規模対象検出をどのように向上させるか？
• RQ4 本稿で提案するモデルは、小規模対象セグメンテーションや曇った境界といった困難な条件下でも効果的に機能するか？
• RQ5 GLSAおよびSBAモジュールの相対的な貢献度は何か？また、それらのアーキテクチャ的配置は結果にどのように影響するか？

主な発見

• ETISデータセットでは、DuATがmDiceスコア0.876を達成し、ベースラインより2.2ポイント、SOTA手法より0.012高い性能を示した。
• ISIC-2018データセットでは、DuATはmDice 0.822、mIoU 0.746を達成し、ベースライン（mDice: 0.759）およびSBAを含まないモデル（mDice: 0.814）を顕著に上回った。
• アブレーションスタディの結果、SBAモジュールを削除するとETISでmDiceが0.008低下し、境界精錬におけるその重要性が裏付けられた。
• GLSAモジュールは、ベースラインと比較してISIC-2018でmDiceを2.2%、mIoUを6.7%向上させ、小規模対象の局在化における有効性を示した。
• SBA + GLSAの構成がすべてのデータセットで最高の性能を示し、ISIC-2018ではMAEが0.013にまで低下し、高精度なセグメンテーションを実現した。
• 可視化分析により、GLSAが小規模対象の検出を向上させ、SBAが曇った領域においても境界の鋭さを向上させることを確認した。