[論文レビュー] Convex Shape Prior for Deep Neural Convolution Network based Eye Fundus Images Segmentation

Jun Liu, Xue‐Cheng Tai+1 more|arXiv (Cornell University)|May 15, 2020

Retinal Imaging and Analysis参考文献 36被引用数 7

ひとこと要約

本論文は、網膜被膜画像の畳み込みニューラルネットワーク（DCNN）ベースのセグメンテーションにおいて、凸形状の事前知識を強制する微分可能でプラグアンドプレイ可能なディープラーニング層であるCS-STDを提案する。シグモイド活性化関数の双対表現を活用し、双対空間における2次凸性制約を適用することで、セグメンテーション出力が凸的で滑らかかつバイナリであることを保証し、後処理やドメイン適応を用いず、顕著に性能向上を達成する。

ABSTRACT

Convex Shapes (CS) are common priors for optic disc and cup segmentation in eye fundus images. It is important to design proper techniques to represent convex shapes. So far, it is still a problem to guarantee that the output objects from a Deep Neural Convolution Networks (DCNN) are convex shapes. In this work, we propose a technique which can be easily integrated into the commonly used DCNNs for image segmentation and guarantee that outputs are convex shapes. This method is flexible and it can handle multiple objects and allow some of the objects to be convex. Our method is based on the dual representation of the sigmoid activation function in DCNNs. In the dual space, the convex shape prior can be guaranteed by a simple quadratic constraint on a binary representation of the shapes. Moreover, our method can also integrate spatial regularization and some other shape prior using a soft thresholding dynamics (STD) method. The regularization can make the boundary curves of the segmentation objects to be simultaneously smooth and convex. We design a very stable active set projection algorithm to numerically solve our model. This algorithm can form a new plug-and-play DCNN layer called CS-STD whose outputs must be a nearly binary segmentation of convex objects. In the CS-STD block, the convexity information can be propagated to guide the DCNN in both forward and backward propagation during training and prediction process. As an application example, we apply the convexity prior layer to the retinal fundus images segmentation by taking the popular DeepLabV3+ as a backbone network. Experimental results on several public datasets show that our method is efficient and outperforms the classical DCNN segmentation methods.

研究の動機と目的

• 深層学習ベースの医療画像セグメンテーションにおいて、特に網膜被膜画像の視神経乳頭および杯のセグメンテーションにおいて、凸形状の事前知識を効果的に強制する課題に対処すること。
• トレーニングや推論の効率を損なわず、凸性制約をDCNNに直接統合する手法を開発すること。
• セグメンテーション出力が凸的かつ滑らかであることを保証し、標準的なDCNNで一般的に見られる不規則な境界や非凸境界を回避すること。
• 前向きおよび逆伝搬の両方のパスにわたって凸性のガイドラインを伝搬できる、エンドツーエンドのトレーニングを可能にすること。
• 後処理やドメイン適応技術に依存せず、ノイズやドメインシフトに対して耐性を高めること。

提案手法

• セグメンテーションを凸性制約付きの変分問題としてモデル化するため、シグモイド活性化関数の双対表現を導入する。
• 二乗凸性制約を双対空間に適用し、バイナリセグメンテーション出力が凸であることを強制する。
• ソフトスレッショルドダイナミクス（STD）フレームワークを拡張し、空間正則化を組み込んで滑らかで凸な境界を保証する。
• 制約付き最適化問題を効率的に数値的に解くために、安定なアクティブセット射影アルゴリズムを開発する。
• 得られたCS-STDブロックを、DeepLabV3+などの既存DCNNにプラグアンドプレイで挿入し、トレーニングと推論をガイドする。
• 複数の凸オブジェクトを扱えるほか、部分的な凸性を許容できるため、複雑な解剖的構造に対しても柔軟性を有する。

実験結果

リサーチクエスチョン

• RQ1 標準的なDCNNアーキテクチャに、効果的かつ効率的に凸形状の事前知識を統合できるか？
• RQ2 深層学習フレームワーク内で、微分可能かつ学習可能な形で凸性を強制できるか？
• RQ3 凸性を強制することで、ノイズやドメインシフト下でもセグメンテーションの正確性、滑らかさ、耐性が向上するか？
• RQ4 複数のオブジェクト（例：視神経乳頭と杯）を同時に処理しながら、凸性を維持できるか？
• RQ5 実世界の網膜画像セグメンテーションにおいて、本手法は最先端のDCNNやドメイン適応技術と比較して優れているか？

主な発見

• 提案されたCS-STD手法は、RIM-ONE-r3テストセットにおいて、視神経乳頭で92.2%、杯で80.7%のDiceスコアを達成し、ベースラインのDeepLabV3+（85.4%および70.9%）を上回った。
• ノイズのない条件下で3.4%、高ノイズレベル（σ = 25）で5.7%のスコア向上を達成し、強い耐性を示した。
• 他の最先端手法が後処理やドメイン適応に依存するのとは異なり、本手法はこれらなしに優れた性能を発揮した。
• アクティブセット射影アルゴリズムにより、トレーニングおよび推論中に数値的安定性と高い収束効率が確保された。
• 凸性事前知識のおかげで境界の滑らかさが著しく向上し、標準的なDCNN出力に一般的に見られる不規則なアーチファクトが減少した。
• 本手法はデータセット間で一般化性に優れ、トレーニングとテストデータの分布が異なる場合でも高い性能を維持した。