[論文レビュー] Neural ODEs for Image Segmentation with Level Sets

Rafael Valle, Fitsum A. Reda+4 more|arXiv (Cornell University)|Dec 25, 2019

Medical Image Segmentation Techniques参考文献 43被引用数 4

ひとこと要約

本稿では、初期の輪郭または画像埋め込みを、正確な意味的セグメンテーションへと進化させるために、Neural ODE（NODE）とレベルセット法を組み合わせた新しい画像セグメンテーション手法を提案する。NODEを用いて強制関数をエンドツーエンドで学習することにより、パラメータ数を減らしつつセグメンテーションの正確性を向上させ、腎臓および顕著オブジェクトセグメンテーションベンチマークで最先端の $F_\beta$ スコアを達成した。

ABSTRACT

We propose a novel approach for image segmentation that combines Neural Ordinary Differential Equations (NODEs) and the Level Set method. Our approach parametrizes the evolution of an initial contour with a NODE that implicitly learns from data a speed function describing the evolution. In addition, for cases where an initial contour is not available and to alleviate the need for careful choice or design of contour embedding functions, we propose a NODE-based method that evolves an image embedding into a dense per-pixel semantic label space. We evaluate our methods on kidney segmentation (KiTS19) and on salient object detection (PASCAL-S, ECSSD and HKU-IS). In addition to improving initial contours provided by deep learning models while using a fraction of their number of parameters, our approach achieves F scores that are higher than several state-of-the-art deep learning algorithms.

研究の動機と目的

• 曖昧なオブジェクト境界付近における正確なピクセル単位のセグメンテーションの課題に取り組むこと。特に、医療画像および顕著オブジェクト画像において。
• 手作業で設計された速度関数に依存する伝統的なレベルセット法の限界を克服し、データ駆動型の適応を可能にすること。
• 初期の輪郭や埋め込み関数を丁寧に設計する必要を減らし、Neural ODEを用いて進化ダイナミクスを学習すること。
• NODEを用いて画像埋め込みを直接、ピクセル単位の意味的ラベルマップへと進化させることで、明示的な輪郭表現を回避すること。
• NODEを用いた進化が、顕著な深層学習モデルと同等またはそれ以上の性能を示しつつ、顕著に少ないパラメータ数で実現できることを実証すること。

提案手法

• 輪郭のレベルセット進化を、可学習なニューラルネットワーク $f_\theta$ が支配するNeural ODEでパrametrizeする。レベルセット関数 $\phi$ の微分は、$\frac{d\phi}{dt} = |\nabla\phi| F$ に従い、$F$ はNODEによって暗黙的に学習される。
• 初期埋め込み $\phi^0$ として符号付き距離関数を用い、$F$ をNODEが暗黙的に学習することで、$\phi$ を時間的に進化させる。
• セグメンテーション損失を最小化するようにNODEをエンドツーエンドで訓練することで、データから最適な輪郭進化ダイナミクスを学習可能にする。
• 2番目のアプローチとして、画像埋め込み自体をNODEを用いて、明示的な初期輪郭設計に依存しない、ピクセル単位の意味的ラベルマップへと進化させる。
• 進化をガイドし、一般化性能を向上させるために、曲率制御や外観ベースの制約などの正則化項を訓練中に導入する。
• パラメータ数を削減しつつ強制関数を効率的に学習できるように、NodeUNet（輪郭進化用）およびNodeStack（画像埋め込み進化用）などのアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 Neural ODEは、手作業で設計された速度関数に代わるレベルセット進化の強制関数を、画像セグメンテーションにおいて効果的に学習できるか？
• RQ2 NODEを用いて強制関数をエンドツーエンドで学習することで、標準的な深層学習モデルと比較して、セグメンテーションの正確性が向上するか？
• RQ3 NODEを用いて画像埋め込みを直接、密度のあるピクセル単位の意味的ラベルマップへと進化させることは可能か？これにより、明示的な初期輪郭設計の必要性が排除されるか？
• RQ4 提案手法のNODEベースの進化が、$F_\beta$ スコアおよびパラメータ効率の観点で、最先端のモデルと比較してどのように性能を発揮するか？
• RQ5 外部制約（例：曲率正則化、外観特徴）を、NODEベースの進化プロセスにどの程度統合できるか？

主な発見

• NodeUNet（500万パラメータ）は、PASCAL-Sで1500万パラメータのUNetベースラインと比較して、$\omega$-$F_\beta$ スコアを相対的に5%向上させ、パラメータ効率の優位性を示した。
• ECSSDでは、NodeStack（4100万パラメータ）が$\omega$-$F_\beta$ スコア0.768を達成し、DLS（0.766）やELD（0.756）といった多数の最先端モデルを上回った。
• HKU-ISでは、NodeStackが$\omega$-$F_\beta$ スコア0.734を達成し、DLS（0.748）やELD（0.718）を上回り、挑戦的な顕著オブジェクトデータセットでも優れた一般化性能を示した。
• PASCAL-Sでは、$\omega$-$F_\beta$ が0.668という最先端の性能を達成し、DRFI、MCDL、LEGS、MTDS、MDF、ELDといったすべての比較手法を上回った。
• 本手法は、ODEの解法中に干渉可能な仕組みを備えており、将来的には形状の事前知識や曲率正則化の統合が可能になる。