[論文レビュー] Sharp U-Net: Depthwise Convolutional Network for Biomedical Image Segmentation

Hasib Zunair, A. Ben Hamza|arXiv (Cornell University)|Jul 26, 2021

AI in cancer detection被引用数 5

ひとこと要約

本稿では、エンコーダー特徴量にスキップ接続の融合前にシャープニング空間フィルタを適用する深さ方向畳み込みを組み込んだ、Sharp U-Netと呼ばれるU-Netの変種を提案する。この手法により、低レベル特徴量と高レベル特徴量の間の特徴マッチングの不一致が軽減され、学習可能なパラメータを追加せずに、バイオメディカル画像におけるセグメンテーション精度が向上する。6つのデータセットで最先端のモデルを上回り、Diceスコアで最大12.6%の向上を達成した。

ABSTRACT

The U-Net architecture, built upon the fully convolutional network, has proven to be effective in biomedical image segmentation. However, U-Net applies skip connections to merge semantically different low- and high-level convolutional features, resulting in not only blurred feature maps, but also over- and under-segmented target regions. To address these limitations, we propose a simple, yet effective end-to-end depthwise encoder-decoder fully convolutional network architecture, called Sharp U-Net, for binary and multi-class biomedical image segmentation. The key rationale of Sharp U-Net is that instead of applying a plain skip connection, a depthwise convolution of the encoder feature map with a sharpening kernel filter is employed prior to merging the encoder and decoder features, thereby producing a sharpened intermediate feature map of the same size as the encoder map. Using this sharpening filter layer, we are able to not only fuse semantically less dissimilar features, but also to smooth out artifacts throughout the network layers during the early stages of training. Our extensive experiments on six datasets show that the proposed Sharp U-Net model consistently outperforms or matches the recent state-of-the-art baselines in both binary and multi-class segmentation tasks, while adding no extra learnable parameters. Furthermore, Sharp U-Net outperforms baselines that have more than three times the number of learnable parameters.

研究の動機と目的

• U-Netにおけるぼやけた特徴マップや過剰・不足セグメンテーションの問題を解消する。これは、意味的に異なる低レベルと高レベル特徴量を融合することで生じる。
• 空間的シャープニングを用いてエンコーダーとデコーダーの特徴量間の意味的ギャップを低減することで、U-Netにおける特徴量統合を改善する。
• モデルの複雑さを増加させることなく、バイナリおよびマルチクラスのバイオメディカル画像セグメンテーションタスクにおける性能を向上させる。
• U-Netに軽量でパラメータフリーの強化を提供し、初期学習段階での特徴表現の向上とアーチファクト抑制を実現する。

提案手法

• スキップ接続の融合の前に、固定されたシャープニングカーネルを用いた深さ方向畳み込みをエンコーダー特徴マップに適用する。
• 各チャネルごとに独立して空間的シャープニングフィルタを適用し、初期段階の特徴量における細粒度のディテールを強調する。
• エンコーダー出力と同じ空間次元を維持することで、融合時に特徴マップの解像度を保持する。
• 学習不能な事前定義されたシャープニングカーネルを用いて、初期学習段階でのアーチファクトを平滑化し、特徴量の一貫性を向上させる。
• 標準のU-Netエンコーダ-デコーダー構造を維持するが、標準のスキップ接続をシャープ化された特徴量統合に置き換える。
• 標準の損失関数（例：Jaccard距離）とエンドツーエンド学習を用いるが、アーキテクチャ的・パラメータ的オーバーヘッドを追加しない。

実験結果

リサーチクエスチョン

• RQ1 スキップ接続の融合の前にエンコーダー特徴量に空間的シャープニングフィルタを適用することで、特徴量の不一致を軽減し、セグメンテーション精度を向上させることができるか？
• RQ2 提案されたシャープニング機構は、バイオメディカル画像セグメンテーションにおけるぼやけた特徴マップや過剰・不足セグメンテーションアーチファクトを低減するか？
• RQ3 学習不能な深さ方向シャープニング層は、学習可能なパラメータ数を増加させずに性能を向上させることができるか？
• RQ4 多様なバイオメディカル画像データセットにおいて、顕著に多くのパラメータを有する最先端モデルと比較して、Sharp U-Netはどのように性能を発揮するか？

主な発見

• CVC-ClinicDBエンドスコープデータセットにおいて、Sharp U-NetはDiceスコアで12.6%の向上を達成し、U-Netや他のベースラインを著しく上回った。
• ISBI-2012データセットでは、前景クラスの不均衡が存在する中でも、Sharp U-NetはDiceスコアで3.63%の性能向上を達成した。
• EM、エンドスコープ、皮膚鏡、核、CT、肺のセグメンテーションを含む6つの多様なバイオメディカル画像データセットにおいて、Sharp U-Netは一貫して最先端のモデルを上回るか、同等の性能を発揮した。
• 追加の学習可能なパラメータが一切ないにもかかわらず、複数のベンチマークで3倍以上のパラメータを有するモデルを上回った。
• Grad-CAMの可視化により、Sharp U-Netはより正確で局在化された活性化を深層のデコーダー層で生成しており、正解マスクとよりよく一致することが確認された。
• シャープニングフィルタは初期学習段階でのアーチファクトを抑制し、ネットワーク全体にわたりより安定した、洗練された特徴学習を促進した。