[論文レビュー] FusionU-Net: U-Net with Enhanced Skip Connection for Pathology Image Segmentation

Zongyi Li, Hongbing Lyu+1 more|arXiv (Cornell University)|Oct 17, 2023

AI in cancer detection被引用数 5

ひとこと要約

FusionU-Net は、エンコーダーとデコーダーの特徴量の間の意味的ギャップを低減するために、スキップ接続に二段階の特徴量統合モジュールを適用した拡張U-Netアーキテクチャを提案する。再編成された特徴マップとグループ畳み込みを用いて、下り方向および上り方向の両方で隣接するエンコーダー層出力の特徴量を統合することで、局所的な空間的関連性を保持し、パrameter数を減らしながらも、複数の病理画像分類ベンチマークで最先端の性能を達成する。

ABSTRACT

In recent years, U-Net and its variants have been widely used in pathology image segmentation tasks. One of the key designs of U-Net is the use of skip connections between the encoder and decoder, which helps to recover detailed information after upsampling. While most variations of U-Net adopt the original skip connection design, there is semantic gap between the encoder and decoder that can negatively impact model performance. Therefore, it is important to reduce this semantic gap before conducting skip connection. To address this issue, we propose a new segmentation network called FusionU-Net, which is based on U-Net structure and incorporates a fusion module to exchange information between different skip connections to reduce semantic gaps. Unlike the other fusion modules in existing networks, ours is based on a two-round fusion design that fully considers the local relevance between adjacent encoder layer outputs and the need for bi-directional information exchange across multiple layers. We conducted extensive experiments on multiple pathology image datasets to evaluate our model and found that FusionU-Net achieves better performance compared to other competing methods. We argue our fusion module is more effective than the designs of existing networks, and it could be easily embedded into other networks to further enhance the model performance.

研究の動機と目的

• U-Netにおけるエンコーダー特徴量とデコーダー特徴量の間の意味的ギャップを解消し、分類性能の低下を防ぐこと。
• 隣接するエンコーダー層間の局所的関連性を活用して、スキップ接続における特徴量統合を改善すること。
• 複数層にわたる双方向情報伝達を可能にする、より効果的な統合メカニズムを設計すること。
• アップサンプリング／ダウンサンプリング中に空間的隣接性を保持し、病理画像における情報損失を低減すること。
• パフォーマンスを向上させるために、さまざまな分類ネットワークに統合可能な軽量で埋め込み可能なモジュールを構築すること。

提案手法

• 二段階の統合設計を導入：まず浅いエンコーダー層から深い層へと統合を行い、その後逆方向に処理することで双方向情報伝達を可能にする。
• 特徴マップ変換中の局所的特徴量の隣接性を維持するための、新規の再編成およびグループ畳み込み手法を適用する。
• ダウンサンプリング前の隣接するエンコーダー層出力間の特徴量統合を実行するための DownFuse および UpFuse ブロックを用いる。
• パラメータ数を最小限に抑えた簡素化されたエンコーダーを採用し、複雑なアーキテクチャではなく、統合モジュールの有効性に焦点を当てる。
• 情報損失を低減するため、標準的なプーリングと畳み込みを再編成とグループ畳み込みに置き換える。
• 主な革新点はエンコーダー側の統合にあり、デコーダーではCCAベースのアテンションを用いて特徴量の微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 隣接するエンコーダー層出力間の二段階統合機構は、U-Netにおける特徴表現の向上と意味的ギャップの低減に寄与するか？
• RQ2 特徴マップのアップサンプリング／ダウンサンプリング中に局所的な空間的隣接性を保持することは、病理画像における分類精度の向上に寄与するか？
• RQ3 提案された統合モジュールは、従来の手法と比較してパフォーマンスとパラメータ効率の両面で優れているか？
• RQ4 基本的なU-Netアーキテクチャに統合された場合、この統合モジュールが性能にどの程度向上効果をもたらすか？
• RQ5 この統合モジュールは一般化可能であり、他の分類ネットワークに対しても効果的に適用可能か？

主な発見

• FusionU-Net は PanNuke データセットで平均Diceスコア57.29を達成し、ベースラインU-Netおよび他の最先端モデルを上回る性能を示した。
• アブレーションスタディの結果、DownFuse と UpFuse ブロックを併用することで最高のパフォーマンスが得られ、統合なしベースライン比で平均Diceスコアが3.47ポイント向上した。
• プーリングと標準畳み込みと比較して、再編成された特徴マップとグループ畳み込みを用いることで、平均Diceスコアが0.4ポイント向上した。
• UpFuse ブロックの貢献度が DownFuse を上回っており、上向き方向の情報伝達が意味的ギャップを埋める上でより重要であることが示された。
• シンプルなエンコーダーを採用しているにもかかわらず、FusionU-Net は TransUNet や UNet++ といった大規模モデルと同等の性能を達成しており、統合モジュールの有効性が裏付けられた。
• モデルはたった34.98Mパラメータと97.15G FLOPsで実現され、高い効率性と優れたパフォーマンスを両立している。