[論文レビュー] Continuous U-Net: Faster, Greater and Noiseless

Chun-Wun Cheng, Christina Runkel+4 more|arXiv (Cornell University)|Feb 1, 2023

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

本稿では、2階常微分方程式（ODE）を用いてネットワークダイナミクスをモデル化する、医療画像セグメンテーションのための新しい連続的ディープラーニングアーキテクチャ、Continuous U-Netを提案する。離散的U-Netブロックを連続的ダイナミックブロックに置き換えることで、隣接感度法による定常メモリコストを伴いながら、収束が速く、ノイズに対してより頑健であるという利点を達成し、6つのベンチマークデータセットにおいて既存のU-Net変種を上回る性能を発揮する。

ABSTRACT

Image segmentation is a fundamental task in image analysis and clinical practice. The current state-of-the-art techniques are based on U-shape type encoder-decoder networks with skip connections, called U-Net. Despite the powerful performance reported by existing U-Net type networks, they suffer from several major limitations. Issues include the hard coding of the receptive field size, compromising the performance and computational cost, as well as the fact that they do not account for inherent noise in the data. They have problems associated with discrete layers, and do not offer any theoretical underpinning. In this work we introduce continuous U-Net, a novel family of networks for image segmentation. Firstly, continuous U-Net is a continuous deep neural network that introduces new dynamic blocks modelled by second order ordinary differential equations. Secondly, we provide theoretical guarantees for our network demonstrating faster convergence, higher robustness and less sensitivity to noise. Thirdly, we derive qualitative measures to tailor-made segmentation tasks. We demonstrate, through extensive numerical and visual results, that our model outperforms existing U-Net blocks for several medical image segmentation benchmarking datasets.

研究の動機と目的

• 固定受容 field を有する離散的U-Netアーキテクチャの限界、すなわち高い計算コストとノイズへの感受性を是正すること。
• 2階ODEを用いた理論的裏付けのある連続的代替手法としての離散的U-Netブロックを考案すること。
• 連続的フレームワーク内での隣接感度法を用いて、収束を早め、定常メモリコストを達成すること。
• 多様な医療画像データセットにおける一般化性能を向上させるとともに、データノイズに対する耐性を高めること。
• 注意機構やトランスフォーマーを追加する必要がない、将来的な連続的U-Net変種の基盤を構築すること。

提案手法

• ネットワークは連続的U-Netとして構築され、エンコーダーおよびデコーダーのブロックが2階ODEに従う動的ブロックに置き換えられる。
• 動的ブロックは2階ニューラルODEを用いてモデル化され、滑らかで柔軟性のある特徴学習軌道を実現する。
• 隣接感度法を適用することで、ODEの統合を逆方向に実行し、モデルの深さにかかわらずO(1)のメモリコストを達成する。
• 理論的分析により、標準的U-Netブロックと比較して収束が速く、ノイズへの感受性が低いことが証明される。
• 分類タスクにおける最適な統合手法を特定するため、Euler、AB、ABM、RK4などの異なるODEソルバを評価する。
• 性能と安定性の向上を図るため、タスクに特化した定性的な指標を導出する。

実験結果

リサーチクエスチョン

• RQ1 2階ODEを用いた連続的U-Netアーキテクチャは、医療画像セグメンテーションにおいて標準的離散的U-Netブロックを上回ることができるか？
• RQ2 U-Netのダイナミクスを連続的ODEでモデル化することで、収束が速くなり、メモリ消費量が低減するか？
• RQ3 ノイズを含むデータに対して、提案手法は標準的U-Net変種と比較してどのように性能を発揮するか？
• RQ4 連続的フレームワークは、耐性および収束に関する理論的保証を提供できるか？
• RQ5 注意機構やトランスフォーマーといった追加機構なしに、連続的U-Netは最先端の性能を達成できるか？

主な発見

• Continuous U-Netは、最適性能に到達するまでの反復回数が少なく、離散的U-Netブロックと比較して著しく収束が速い。
• 隣接感度法によりO(1)のメモリコストを達成し、モデルの深さにかかわらず計算が効率的である。
• 6つのベンチマークデータセットすべてにおいて、標準的U-Netブロックを上回り、注意機構を備えたモデルでさえも上回る。
• 加法性ガウスノイズ（σ = 0.2）条件下では、Continuous U-Netはクリーンな状態の性能からDiceスコアが0.1209以内に低下するが、インセプションブロックを備えたU-NetはGlaSデータセットで0.7434から0.1930に低下する。
• 4次ルンゲ・クッタ（RK4）ソルバは、Euler、アダムス・バシフォース、アダムス・バシフォース・ムールトンの各手法をすべてのデータセットおよび指標で上回る。
• Continuous U-Netは、すべてのデータセットおよび指標で安定的かつ高い性能を発揮するが、FOブロックは特にSTAREデータセットで一貫性のない結果を示す。