[論文レビュー] Deep Convolutional Neural Networks with Spatial Regularization, Volume and Star-shape Priori for Image Segmentation

Jun Liu, Xiangyue Wang+1 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Neural Network Applications参考文献 58被引用数 7

ひとこと要約

本稿では、画像セグメンテーションのための深層畳み込みニューラルネットワーク（DCNN）に空間正則化、ボリューム制約、スターシェイプ事前知識を統合する、新しいソフトスレッショルドダイナミクス（STD）フレームワークを提案する。ソフトマックス関数を変分問題における双対変数として解釈することで、DCNNの出力が古典的な変分モデルからの高度な空間的事前知識を引き継げるようになり、DeepLabV3+に適用した際、ISIC2018などのベンチマークでセグメンテーション精度とロバスト性が顕著に向上する。

ABSTRACT

We use Deep Convolutional Neural Networks (DCNNs) for image segmentation problems. DCNNs can well extract the features from natural images. However, the classification functions in the existing network architecture of CNNs are simple and lack capabilities to handle important spatial information in a way that have been done for many well-known traditional variational models. Prior such as spatial regularity, volume prior and object shapes cannot be well handled by existing DCNNs. We propose a novel Soft Threshold Dynamics (STD) framework which can easily integrate many spatial priors of the classical variational models into the DCNNs for image segmentation. The novelty of our method is to interpret the softmax activation function as a dual variable in a variational problem, and thus many spatial priors can be imposed in the dual space. From this viewpoint, we can build a STD based framework which can enable the outputs of DCNNs to have many special priors such as spatial regularity, volume constraints and star-shape priori. The proposed method is a general mathematical framework and it can be applied to any semantic segmentation DCNNs. To show the efficiency and accuracy of our method, we applied it to the popular DeepLabV3+ image segmentation network, and the experiments results show that our method can work efficiently on data-driven image segmentation DCNNs.

研究の動機と目的

• 既存のDCNNが正則化、ボリューム制約、形状情報などの空間的事前知識を適切に処理できないという限界に対処すること。
• データ駆動型のディープラーニングと物理的インスピレーションを持つ変分モデルの間のギャップを埋め、古典的事前知識をディープネットワークに組み込むこと。
• 下位のDCNNアーキテクチャを変更せずに、汎用的なフレームワークを構築すること。
• セグメンテーション中に空間的整合性、ボリューム保存、形状の一貫性を維持できるようにすること。

提案手法

• 提案されたSTDフレームワークは、ソフトマックス活性化関数を変分最適化問題における双対変数として再解釈し、双対空間に空間的事前知識を組み込むことを可能にする。
• セグメンテーション問題を、データ適合性、正則化、事前知識項を組み合わせた汎関数の最小化問題として定式化し、事前知識はスレッショルドダイナミクスを介して強制する。
• 最適化の安定性を高めるためにエントロピー正則化を導入し、高速反復スキームを用いた効率的な計算を可能にする。
• ボリューム制約は、各セグメンテーション領域の総面積を反復処理中に維持するラグランジュ乗数によって強制される。
• スターシェイプ事前知識は、中心点に関してセグメンテーションがスターシェイプであることを制約する幾何的制約を最適化に組み込むことで埋め込まれる。
• このフレームワークは、DeepLabV3+を含む任意のセマンティックセグメンテーションDCNNと互換性があり、順伝播および逆伝播の両方で適用可能である。

実験結果

リサーチクエスチョン

• RQ1 正則化、ボリューム制約、形状事前知識といった空間的事前知識を、ディープラーニングベースのセグメンテーションネットワークに効果的に統合できるか。
• RQ2 DCNNにおけるソフトマックス関数をどのように再解釈すれば、双対空間に変分的事前知識を組み込めるか。
• RQ3 提案されたSTDフレームワークは、実世界のデータセットにおいて、標準的なDCNNと比較してセグメンテーション精度とロバスト性を向上させるか。
• RQ4 アーキテクチャの変更なしに、異なるDCNNアーキテクチャに一般化可能か。

主な発見

• 提案されたSTDフレームワークは、DCNNに空間的正則化、ボリューム保存、スターシェイプ事前知識を効果的に統合し、ISIC2018の検証セットにおいてセグメンテーション品質を顕著に向上させた。
• DeepLabV3+に適用した際、境界の適合性が向上し、特に複雑な皮膚腫瘍のセグメンテーションにおいてノイズが低減した。
• 事前知識の統合により、コントラストが低いか、形状が不規則なケースでもより一貫性があり、解剖学的に妥当なセグメンテーションが得られた。
• スレッショルドダイナミクスの使用により、計算効率が高く保たれ、無条件安定性と高速収束性を確保した。
• 定量的評価では、特に小規模なオブジェクトサイズや困難な条件下で、ベースラインDCNNと比較してDiceスコアが向上し、ハウスドルフ距離が低減した。