[論文レビュー] Multiphase Level-Set Loss for Semi-Supervised and Unsupervised Segmentation with Deep Learning

Boah Kim, Jong Chul Ye|arXiv (Cornell University)|Apr 5, 2019

Advanced Neural Network Applications参考文献 32被引用数 3

ひとこと要約

本稿では、深層ニューラルネットワークのソフトマックス出力と古典的レベルセット特徴関数の構造的類似性を活用して、半教師ありおよび教師なしのセマンティック画像セグメンテーションを可能にする、マルチフェーズレベルセット損失関数を提案する。この手法は、最小限または完全にアノテートされたマスクが不要な複数のベンチマークで最先端の性能を達成するとともに、正則化を通じて教師ありセグメンテーションの性能向上も実現する。

ABSTRACT

Recent state-of-the-art image segmentation algorithms are mostly based on deep neural network, thanks to its high performance and fast computation time. However, these methods are usually trained in a supervised manner, which requires large number of high quality ground-truth segmentation masks. On the other hand, classical image segmentation approaches such as level-set methods are still useful to help generation of segmentation masks without labels, but these algorithms are usually computationally expensive and often have limitation in semantic segmentation. In this paper, we propose a novel multiphase level-set loss function for deep learning-based semantic image segmentation without or with small labeled data. This loss function is based on the observation that the softmax layer of deep neural networks has striking similarity to the characteristic function in the classical multiphase level-set algorithms. We show that the multiphase level-set loss function enables semi-supervised or even unsupervised semantic segmentation. In addition, our loss function can be also used as a regularized function to enhance supervised semantic segmentation algorithms. Experimental results on multiple datasets demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 深層学習セグメンテーションモデルが大量の高品質なアノテート済みセグメンテーションマスクを必要としているという制限を解消すること。
• ラベルなしでセグメンテーションマスクを生成できる古典的レベルセット手法の能力を、ディープラーニングフレームワークに統合すること。
• 深層ニューラルネットワークの出力とレベルセット理論の間のギャップを埋める、微分可能な損失関数を開発すること。
• ラベルリソースが限られた環境、特に完全に教師なしおよび半教師ありの状況でも効果的なセマンティックセグメンテーションを実現すること。
• 標準的な教師ありセグメンテーションモデルの性能を向上させる正則化メカニズムを提供すること。

提案手法

• マルチフェーズレベルセットの定式化にインspiredされた、新しい微分可能な損失関数を提案し、ソフトマックス層の出力をレベルセット特徴関数の代理として使用する。
• 空間的整合性と滑らかさを促進するように設計された、変分エネルギー関数としての損失を定式化する。
• 標準的な交差エントロピー損失やその他のセグメンテーション損失と互換性を持つように、レベルセット損失を正則化項として訓練目的に統合する。
• 画像ラベルのみ、または弱いアノテーションデータのみを用いたエンドツーエンドのディープニューラルネットワークの訓練を可能にする。
• レベルセット手法の数学的構造を活用して、明示的なマスクの監視なしに、セグメンテーションの輪郭を暗黙的に学習する。
• 損失関数を用いて、より整合性があり意味的に意味のあるセグメンテーション出力を得るためのネットワーク最適化をガイドする。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス出力とレベルセット特徴関数の構造的類似性を活用して、弱教師ありセグメンテーション用の微分可能な損失関数を設計できるか？
• RQ2 提案された損失関数は、完全にアノテート済みのセグメンテーションマスクが存在しない状況でも、どれほど正確なセマンティックセグメンテーションを可能にするか？
• RQ3 マルチフェーズレベルセット損失は、ラベルデータが限られた半教師あり設定で、性能をどの程度向上できるか？
• RQ4 損失関数は、完全に教師ありのセマンティックセグメンテーションの性能向上に有効な正則化子として機能できるか？
• RQ5 この手法は、アーキテクチャの変更を要せず、多様なデータセットやセグメンテーションタスクに一般化可能か？

主な発見

• 提案されたマルチフェーズレベルセット損失は、複数のベンチマークデータセットにおいて、半教師ありおよび教師なしセマンティックセグメンテーションで最先端の性能を達成する。
• 完全に教師ありのベースラインと比較して、顕著に少ないアノテート済みマスクで競争力のある結果を達成する。
• 損失関数は効果的な正則化子として機能し、標準的な教師あり学習の目的関数に追加することで、セグメンテーションの精度を向上させる。
• PASCAL VOC や COCO といった多様なデータセットにおいて、低リソースおよびゼロショットの監視下でも、本手法は頑健であることを示す。
• 完全にアノテート済みのマスクが存在しない状況でも、画像ラベルの監視のみで、高品質で空間的に整合性のあるセグメンテーション予測を達成する。
• 損失関数は、レベルセットにインspiredされた定式化により、予測されたセグメンテーション境界の滑らかさと一貫性を効果的に強制する。