[論文レビュー] TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation with Transformers

Di Liu, Yunhe Gao+9 more|arXiv (Cornell University)|Mar 21, 2022

Medical Image Segmentation Techniques被引用数 4

ひとこと要約

TransFusionは、非整合な心臓MRIスキャンにおける長距離のクロスビューおよびクロススケールの依存関係をモデル化するための、Divergent Fusion Attention (DiFA) と Multi-Scale Attention (MSA) を用いた、新しいTransformerベースのアーキテクチャを提案する。この手法は、M&Ms-2チャレンジにおいて最先端の性能を達成し、短軸および長軸の右心室セグメンテーションにおいて、Diceスコア最大89.78%、HDが8.02mmまで向上した。

ABSTRACT

Combining information from multi-view images is crucial to improve the performance and robustness of automated methods for disease diagnosis. However, due to the non-alignment characteristics of multi-view images, building correlation and data fusion across views largely remain an open problem. In this study, we present TransFusion, a Transformer-based architecture to merge divergent multi-view imaging information using convolutional layers and powerful attention mechanisms. In particular, the Divergent Fusion Attention (DiFA) module is proposed for rich cross-view context modeling and semantic dependency mining, addressing the critical issue of capturing long-range correlations between unaligned data from different image views. We further propose the Multi-Scale Attention (MSA) to collect global correspondence of multi-scale feature representations. We evaluate TransFusion on the Multi-Disease, Multi-View \& Multi-Center Right Ventricular Segmentation in Cardiac MRI (M\&Ms-2) challenge cohort. TransFusion demonstrates leading performance against the state-of-the-art methods and opens up new perspectives for multi-view imaging integration towards robust medical image segmentation.

研究の動機と目的

• 非整合な多視覚医療画像（特に短軸および長軸心臓MRI）の統合を扱い、セグメンテーション性能を向上させること。
• 従来の畳み込みベースの統合では失敗する、異種の画像データにおける長距離のクロスビューおよびクロススケールの依存関係をモデル化すること。
• 異なる視点およびスケール間で強固なアテンション駆動型特徴のアライメントを可能にする統一されたフレームワークの開発。
• 多施設・多疾患の心臓MRIセグメンテーションタスクにおけるTransformerベースの統合の有効性を実証すること。

提案手法

• 非整合な画像特徴間のクロスビューの文脈および意味的依存関係を明示的にモデル化するため、Divergent Fusion Attention (DiFA) モジュールを導入する。
• ピラミッド型のネットワークアーキテクチャにおいて、マルチスケール特徴表現の間でグローバルな対応関係を統合するために、Multi-Scale Attention (MSA) を採用する。
• 短軸および長軸cMRI入力を別々に処理するため、ハイブリッド3D + 2Dバックボーン（3Dおよび2D UTNet）を用いる。
• エンコーダーの複数のレベルにDiFAおよびMSAブロックを適用し、段階的にクロスビューおよびクロススケールの特徴表現を精緻化する。
• 空間的アライメントおよび視点間の文脈モデリングを強化するため、ハイブリッド2.5D + 3D + 2Dネットワークモードを採用する。
• DiFAおよびMSAモジュールの融合特徴を異なるスケールで統合するスキップ接続を備えたU-Netスタイルのデコーダーを用いる。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、非整合な多視覚医療画像において長距離の依存関係を効果的にモデル化できるか？
• RQ2 標準的なアテンションや連結処理と比較して、Divergent Fusion Attention (DiFA) モジュールはクロスビュー特徴のアライメントおよび意味的一致性をどのように向上させるか？
• RQ3 ネットワークの深さにおいて、DiFAモジュールを最適に配置し、数を設定することで、セグメンテーション性能を最大限に引き出せるか？
• RQ4 単一視覚または単純な連結ベースの統合と比較して、提案された多視覚統合戦略は、耐性および正確性の面で優れているか？
• RQ5 ハイブリッド3D + 2Dネットワークモードは、多視覚心臓MRIにおいて特徴のアライメントおよびセグメンテーション性能をどの程度向上させるか？

主な発見

• TransFusionは、右心室セグメンテーションタスクで89.78%のDiceスコアを達成し、次に優れた手法（rDLA*）の86.49%を大きく上回った。
• 平均ハウスドルフ距離（HD）は8.02mmであり、比較されたすべての手法の中で最低であり、境界の正確性が優れていることを示している。
• アブレーションスタディの結果、DiFAモジュールをエンコーダーの上位レベル（例：レベル4および5）に配置すると、最も一貫した性能向上が得られ、レベル4を超えると効果の逓減が見られた。
• ハイブリッド3D + 2Dネットワークモードは、2.5Dおよび単一視覚ベースラインを上回り、視点間の空間的アライメントの重要性を示している。
• UTNet や MCTrans といった既存のモデルにDiFAモジュールを適用した場合、一貫して性能向上が見られ、その汎用性および有効性を裏付けた。
• 本手法は、明示的なクロスビューアテンションを用いた多視覚医療画像セグメンテーションへのTransformerの適用を初めて実現し、非整合またはマルチモodalデータ統合のための新たな道を開いた。