[論文レビュー] NexToU: Efficient Topology-Aware U-Net for Medical Image Segmentation

Pengcheng Shi, Xutao Guo+3 more|arXiv (Cornell University)|May 25, 2023

Medical Imaging and Analysis被引用数 5

ひとこと要約

NexToUは、効率的でトポロジーに配慮した医療画像セグメンテーションを実現する、ビジョンGNNモジュール（Pool GNNおよびSwin GNN）を統合した新規なハイブリッドU-Netアーキテクチャを提案する。グローバルおよびローカルなトポロジー表現を活用し、計算コストを$c(c-1)$から$2(c-1)$に削減するバイナリトポロジカルインタラクション（BTI）モジュールを導入することで、3つの多様なデータセットで最先端の性能を達成し、Diceスコアが向上し、Hausdorff距離が低減された。

ABSTRACT

Convolutional neural networks (CNN) and Transformer variants have emerged as the leading medical image segmentation backbones. Nonetheless, due to their limitations in either preserving global image context or efficiently processing irregular shapes in visual objects, these backbones struggle to effectively integrate information from diverse anatomical regions and reduce inter-individual variability, particularly for the vasculature. Motivated by the successful breakthroughs of graph neural networks (GNN) in capturing topological properties and non-Euclidean relationships across various fields, we propose NexToU, a novel hybrid architecture for medical image segmentation. NexToU comprises improved Pool GNN and Swin GNN modules from Vision GNN (ViG) for learning both global and local topological representations while minimizing computational costs. To address the containment and exclusion relationships among various anatomical structures, we reformulate the topological interaction (TI) module based on the nature of binary trees, rapidly encoding the topological constraints into NexToU. Extensive experiments conducted on three datasets (including distinct imaging dimensions, disease types, and imaging modalities) demonstrate that our method consistently outperforms other state-of-the-art (SOTA) architectures. All the code is publicly available at https://github.com/PengchengShi1220/NexToU.

研究の動機と目的

• 従来のCNNおよびトランスフォーマーベースのバックボーンがグローバルな文脈とトポロジカルな一貫性を捉えきれない、複雑で不規則な解剖的構造（特に管状の血管）のセグメンテーションという課題に対処する。
• 現在のモデルが解剖的構造同士の包含関係や排他関係を正しくモデル化できないため、誤分類や空間的混乱を引き起こすという限界を克服する。
• グラフニューラルネットワーク（GNN）をU-Netフレームワークに統合し、医療画像における非ユークリッド的でトポロジカルな関係を捉えながら、計算効率を維持する。
• バイナリツリー構造を用いて階層的な関係を符号化する、軽量で微分可能なトポロジカルインタラクション機構（BTI）を開発し、従来のTIモジュールと比較してFLOPsを削減する。
• 2次元および3次元の医療画像データセットを対象に、より少ないパラメータで、境界の明確化が向上した、複数の分野で最先端のセグメンテーション精度を達成する。

提案手法

• Pool GNN（グローバルなトポロジカル表現のため）とSwin GNN（局所的でウィンドウベースの特徴学習のため）を統合したハイブリッドU-Netアーキテクチャ、NexToUを提案する。
• Pool GNNを用いて、遠く離れた解剖的領域間の長距離依存関係や構造的文脈を捉えるための重要なノードを特定する。
• シフトされたウィンドウ分割と逆操作を用いたSwin GNNを採用し、血管のような局所的で不規則な形状の構造を効率的にモデル化する。
• バイナリトポロジカルインタラクション（BTI）モジュールを導入し、元のTIモジュールをバイナリツリー論理に再定式化することで、解剖的構造間の階層的包含および排他関係を符号化する。
• cクラス分類におけるTIモジュールの計算複雑度を$c \times (c-1)$から$2 \times (c-1)$に低減させ、FLOPsを顕著に削減しながらもトポロジカルな認識を維持する。
• BTIモジュールを損失関数に統合し、トレーニング中にトポロジカル一貫性を強制することで、クラス間境界におけるセグメンテーション精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-GNNアーキテクチャは、医療画像セグメンテーションにおいて、グローバルおよびローカルなトポロジカル表現を効果的に学習できるか？
• RQ2 包含や排他関係といったトポロジカル制約を、深層学習モデルに効率的に組み込む方法は何か？
• RQ3 提案されたBTIモジュールは、標準的なトポロジカルインタラクションモジュールと比較して、計算コストを低減しながらもセグメンテーション精度を向上させるか？
• RQ4 NexToUは、2次元および3次元の異なる画像モodalities、病変タイプ、解像度を有するデータセットに対しても一般化可能か？
• RQ5 トポロジーに配慮した学習を組み込むことで、大脳血管のような複雑な構造における境界の明確化がどの程度向上し、個体間ばらつきが低減されるか？

主な発見

• BTCVデータセットでは、NexToUは平均Diceスコア係数（DSC）87.84%、Hausdorff距離（HD）6.33 mmを達成し、nnU-Net、Swin-Unet、PHTransを含むすべてのSOTA手法を上回った。
• ICAデータセットでは、NexToUはDSC 74.19%を達成し、比較されたすべての手法の中で最高であり、AcomAやPcomAのような小規模で複雑な血管のセグメンテーションにおいて顕著な改善が見られた。
• RAVIRデータセットでは、NexToUはDSC 78.21%を達成し、nnU-Net（77.54%）およびU-Net++（75.35%）を上回り、網膜血管セグメンテーションにおいて優れた性能を示した。
• アブレーションスタディの結果、Pool GNNおよびSwin GNNモジュールの追加により、それぞれDSCが1.48%および1.78%向上し、BTIの導入によりDSCがさらに0.61%向上し、HDが1.02 mm低減された。
• 完全なNexToUモデルは、たった23.06Mパラメータで優れた性能を発揮し、多様な解剖的構造および画像モダリティにわたる高いパラメータ効率性と一般化能力を示した。
• 可視化比較では、NexToUは中大脳動脈や脾臓における誤分類や空間的混乱を低減し、PHTransやnnFormerと比較して小血管の接続性をよりよく保持していた。