[論文レビュー] Non-local U-Net for Biomedical Image Segmentation

Zhengyang Wang, Na Zou+2 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications参考文献 21被引用数 7

ひとこと要約

本論文では、非局所U-Netという新しいアーキテクチャを提案する。これは、U-Netにおける従来の局所的畳み込み演算子を、自己注意に基づく柔軟なグローバル集約ブロックに置き換えるもので、長距離の文脈モデリングを効率的に行える。これらのブロックは、サイズを維持する層、ダウンサンプリング層、アップサンプリング層に統合されており、長距離の文脈モデリングが可能である。本手法は、3Dマルチモodalな等強度乳児脳MR画像セグメンテーションタスクにおいて、パラメータ数を減らし、推論速度を向上させながらも、最先端の性能を達成した。

ABSTRACT

Deep learning has shown its great promise in various biomedical image segmentation tasks. Existing models are typically based on U-Net and rely on an encoder-decoder architecture with stacked local operators to aggregate long-range information gradually. However, only using the local operators limits the efficiency and effectiveness. In this work, we propose the non-local U-Nets, which are equipped with flexible global aggregation blocks, for biomedical image segmentation. These blocks can be inserted into U-Net as size-preserving processes, as well as down-sampling and up-sampling layers. We perform thorough experiments on the 3D multimodality isointense infant brain MR image segmentation task to evaluate the non-local U-Nets. Results show that our proposed models achieve top performances with fewer parameters and faster computation.

研究の動機と目的

• 従来のU-Netアーキテクチャが重ねられた局所的演算子に依存しているため、非効率で長距離の文脈集約が制限されている問題を解決すること。
• サイズを維持する層、ダウンサンプリング層、アップサンプリング層のすべてに適用可能な、柔軟なグローバル集約メカニズムの開発。
• モデルの複雑さと推論時間を削減しながら、3D生体医療画像タスクにおけるセグメンテーション精度を向上させること。
• エンコーダーとデコーダーの両パスにおけるグローバル集約の有効性を評価し、特にアップサンプリング段階での空間的詳細の回復に注目すること。

提案手法

• 自己注意に基づくグローバル集約ブロックを導入し、すべての特徴マップの位置に対する重み付き和を計算することで、深くスタックする必要なく長距離の文脈モデリングを可能にする。
• サイズを維持するブロックだけでなく、ダウンサンプリング層およびアップサンプリング層に対しても、グローバル集約ブロックを適応させることで、ネットワーク全体に一貫したグローバル文脈統合を実現する。
• U-Netにおける連結ベースのスキップ接続を和算に置き換えることで、パラメータ数を削減し、長距離の残差学習を可能にする。
• 大規模な3Dボリュームに対して特に精度を向上させるために、重複する受容 field を持つパッチベースの推論戦略を採用する。
• 推論速度と性能のバランスを取るために、パッチサイズと重複ステップサイズをグリッドサーチで最適化する。
• 3Dマルチモダリティ等強度乳児脳MR画像セグメンテーションタスクにおいて、9名の被験者でモデルを訓練し、10番目の被験者で評価する。

実験結果

リサーチクエスチョン

• RQ1 自己注意によるグローバル集約は、スタックされた局所的畳み込みと比較して、3D生体医療画像におけるセグメンテーション性能を向上させることができるか？
• RQ2 スキップ接続における連結処理を和算に置き換えることで、パラメータ数を削減しつつ、性能を維持または向上させることができるか？
• RQ3 グローバル集約ブロックは、ボトルネック部やサイズを維持する層に限らず、U-Netのダウンサンプリング層およびアップサンプリング層に対しても効果的に適用可能か？
• RQ4 パッチサイズと重複ステップサイズは、3D U-Netの変種において推論速度とセグメンテーション精度にどのように影響を与えるか？
• RQ5 提案された非局所U-Netは、先行研究の最先端モデルと比較して、より少ないパラメータ数とより速い計算で優れた性能を達成できるか？

主な発見

• 提案された非局所U-Netは、10番目の被験者において平均Diceスコア0.4077を達成し、3D U-Net や CC-3D-FCN を含むすべてのベースラインモデルを上回った。
• 最高性能を示したモデル（非局所U-Net）のDiceスコアは0.4077であったのに対し、最高のベースライン（Model4）は0.4220であったが、これは顕著な改善を示している。
• アブレーションスタディの結果、ボトムブロックをグローバル集約ブロックに置き換えた（Model5）場合に最も大きな性能向上が得られ、ボトムネック部におけるグローバル文脈の重要性を強調している。
• 最適なパッチサイズは32³であり、これより小さくまたは大きくすると性能が低下した。
• 重複ステップサイズが8または16の場合が、精度と推論速度の最良のトレードオフを達成しており、処理すべきパッチ数を削減しながらも高い性能を維持した。
• 非局所U-Netは、より少ないパラメータ数とより速い計算で最先端の性能を達成しており、効率性と有効性の両面で優れていることを示した。