[論文レビュー] Linkage between piecewise constant Mumford-Shah model and ROF model and its virtue in image segmentation

Xiaohao Cai, Raymond H. Chan+3 more|arXiv (Cornell University)|Jul 26, 2018

Medical Image Segmentation Techniques参考文献 34被引用数 8

ひとこと要約

本稿は、区分的定数 Mumford-Shah (PCMS) モデルと Rudin-Osher-Fatemi (ROF) 総 variation モデルの理論的関連性を確立し、2相セグメンテーションにおける PCMS の部分最小化子が ROF 最小化子をしきい値処理することで得られることを示している。これにより、ROF を用いた画像修復ののちにしきい値処理を行う、新規で効率的かつ効果的なセグメンテーションパラダイムが得られ、特にノイズやぼやけが強い画像において、最先端の PCMS に基づく手法を上回るスピードと正確性が実証された。

ABSTRACT

The piecewise constant Mumford-Shah (PCMS) model and the Rudin-Osher-Fatemi (ROF) model are two important variational models in image segmentation and image restoration, respectively. In this paper, we explore a linkage between these models. We prove that for the two-phase segmentation problem a partial minimizer of the PCMS model can be obtained by thresholding the minimizer of the ROF model. A similar linkage is still valid for multiphase segmentation under specific assumptions. Thus it opens a new segmentation paradigm: image segmentation can be done via image restoration plus thresholding. This new paradigm, which circumvents the innate non-convex property of the PCMS model, therefore improves the segmentation performance in both efficiency (much faster than state-of-the-art methods based on PCMS model, particularly when the phase number is high) and effectiveness (producing segmentation results with better quality) due to the flexibility of the ROF model in tackling degraded images, such as noisy images, blurry images or images with information loss. As a by-product of the new paradigm, we derive a novel segmentation method, called thresholded-ROF (T-ROF) method, to illustrate the virtue of managing image segmentation through image restoration techniques. The convergence of the T-ROF method is proved, and elaborate experimental results and comparisons are presented.

研究の動機と目的

• 画像セグメンテーションにおける非凸な PCMS モデルと凸な ROF モデルの間の理論的接続を確立すること。
• 従来の PCMS に基づくセグメンテーション手法に内在する計算の非効率性と局所最適解の問題を解決すること。
• ROF モデルの凸性と頑健性を活用した、より優れた性能を実現する新しいセグメンテーションパラダイムの開発。
• 修復としきい値処理による高品質なセグメンテーションを実現する、新規のしきい値処理済み ROF (T-ROF) 法の提案と分析。
• さまざまな画像劣化タイプにわたる、セグメンテーション品質と計算効率の両面で本手法の優位性を検証すること。

提案手法

• 2相セグメンテーションにおいて、PCMS モデルの部分最小化子が ROF モデルの最小化子をしきい値処理することで得られることを証明する。
• 特定の仮定の下で、この関連性を多相セグメンテーションへと拡張し、修復としきい値処理のパラダイムを一般化する。
• T-ROF 法の提案：まず ROF モデルを用いて画像修復を行い、その後、各領域の平均強度に基づく動的しきい値処理ルールを適用する。
• 2段階の反復アルゴリズムを用いる：まず ROF 機能を最小化し、次に現在のセグメンテーションの平均強度を用いてしきい値を更新する。
• T-ROF 法の収束性を証明し、反復プロセスがセグメンテーション基準を満たす解に安定することを示す。
• ROF モデルのノイズ、ぼやけ、劣化した画像の処理能力を活用し、凸性とエッジ保持特性を活かして、しきい値処理の前段階として頑健な修復を実現する。

実験結果

リサーチクエスチョン

• RQ1 ROF 最小化子をしきい値処理することで、PCMS モデルの有効な解を構築できるか？
• RQ2 ROF と PCMS の関連性に基づく修復としきい値処理のパラダイムは、従来の PCMS に基づくセグメンテーション手法よりもスピードと正確性の面で優れているか？
• RQ3 T-ROF 法は、ノイズ、ぼやけ、低コントラスト特徴を有する画像において、どのように性能を発揮するか？
• RQ4 ROF と PCMS 間の理論的関連性は、2相セグメンテーションを超えて多相ケースへと拡張可能か？
• RQ5 提案された T-ROF アルゴリズムの収束行動はいかなるものか？また、しきい値更新ルールはセグメンテーション品質にどのように影響するか？

主な発見

• 理論的関連性により、ROF 最小化子をしきい値処理することで、2相セグメンテーションにおける PCMS モデルの部分最小化子が得られることを証明した。
• T-ROF 法は、網膜画像の右側血管に対して DICE スコア 0.7749 を達成し、他の競合手法（SaT は 0.5673）を著しく上回った。
• T-ROF 法は網膜画像でセグメンテーション精度（SA）0.9929 を達成し、最先端の SaT 手法をも上回った。
• T-ROF 法は網膜画像で 2.09 秒で処理を完了し、次に速い手法（SaT は 3.51 秒）を上回り、優れた計算効率を示した。
• 他の PCMS に基づく手法が失敗するような、複雑な網膜画像における細い、低コントラストの血管を、本手法は正常にセグメンテーションできた。特に、相の数が2つを超える場合に顕著であった。
• T-ROF アルゴリズムの収束性は厳密に証明されており、反復処理の各段階で安定的かつ信頼性のあるセグメンテーション結果が得られることを保証した。