[論文レビュー] Deep Neural Networks for Surface Segmentation Meet Conditional Random Fields

Leixin Zhou, Zisha Zhong+4 more|arXiv (Cornell University)|Jun 11, 2019

Advanced Neural Network Applications参考文献 30被引用数 6

ひとこと要約

本論文は、3次元畳み込みニューラルネットワーク（CNNs）と条件付きランダムフィールド（CRFs）を組み合わせたエンドツーエンドのディープラーニングフレームワークを提案し、医用画像における3次元表面セグメンテーションを直接的に行う。形状に配慮したパッチ生成と、CNN内でのCRFの単一およびペairワイズ潜在変数の統合により、トポロジーの一貫性が保証され、後処理を要せず、前立腺および脾臓セグメンテーションデータセットで最先端の性能を達成する。

ABSTRACT

Automated surface segmentation is important and challenging in many medical image analysis applications. Recent deep learning based methods have been developed for various object segmentation tasks. Most of them are a classification based approach (e.g., U-net), which predicts the probability of being target object or background for each voxel. One problem of those methods is lacking of topology guarantee for segmented objects, and usually post processing is needed to infer the boundary surface of the object. In this paper, a novel model based on 3-D convolutional neural networks (CNNs) and Conditional Random Fields (CRFs) is proposed to tackle the surface segmentation problem with end-to-end training. To the best of our knowledge, this is the first study to apply a 3-D neural network with a CRFs model for direct surface segmentation. Experiments carried out on NCI-ISBI 2013 MR prostate dataset and Medical Segmentation Decathlon Spleen dataset demonstrated promising segmentation results.

研究の動機と目的

• 分類ベースのディープラーニング手法における制限、特に物体境界を抽出するために後処理を要することを解決すること。
• ボクセル単位の分類ではなく、表面位置を回帰出力としてモデル化することで、直接的3次元表面セグメンテーションを可能にすること。
• 局所的な信頼性と空間的滑らかさの共同最適化を実現するため、3次元CNNにCRF潜在変数を統合し、トポロジカルに有効な表面を保証すること。
• パッチ生成とパラメータ効率性の課題を克服し、表面セグメンテーションのための3次元ネットワークの学習を可能にすること。
• 正しいトポロジーを持つ事前セグメンテーションを、表面予測のための土台として用いることで、トポロジーの正確性を保証すること。

提案手法

• 事前セグメンテーションステップにより、正しいトポロジーを持つ粗い表面が三角形メッシュとして生成される。
• 三角形メッシュが四角形メッシュに変換され、3次元畳み込み演算を可能にする。
• 調和写像に基づく新しい形状に配慮したパッチ生成法により、表面周辺に構造的でない近接領域を持つ画像パッチが作成される。
• 3次元CNNがパッチ内の各列について表面位置を回帰し、CRF単一潜在変数を直接モデル化する。
• 滑らかさと隣接する表面点間の一貫性を強制するために、特化した適合性行列を介してCRFペアワイズ潜在変数が統合される。
• 表面位置予測に対してマルチクラス交差エントロピー（MCE）損失関数を用いて、CNN+CRFモデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 3次元CNN-CRFフレームワークは、後処理を要せず、トポロジーの正確性を保ちながら直接的かつエンドツーエンドの表面セグメンテーションを可能にするか？
• RQ2 調和写像を用いた形状に配慮したパッチ生成は、効率的かつ正確な3次元表面学習を可能にするか？
• RQ3 3次元CNNにCRF潜在変数を統合することで、標準的な分類ベースの手法と比較して表面の滑らかさとセグメンテーション精度がどの程度向上するか？
• RQ4 事前セグメンテーションの不正確さに対して、トポロジーが保たれていれば、本手法はどの程度頑健であるか？
• RQ5 本フレームワークは、最小限のアーキテクチャ変更で、気道や神経径路など複雑な解剖学的構造にも一般化可能か？

主な発見

• 提案手法は、NCI-ISBI 2013 MR前立腺データセットおよびMedical Segmentation Decathlon脾臓データセットで最先端の表面セグメンテーション性能を達成した。
• ワatershedやモルフォロジカル操作などの後処理ステップを必要とせず、トポロジカルに一貫した表面を生成した。
• 事前セグメンテーションの不正確さに対しても、トポロジーが保たれていれば、本手法は初期表面のわずかな幾何的誤差に対して感受性が低く、頑健であることを示した。
• 調和写像に基づくパッチ生成の使用により、構造的で重複のない、トポロジーを保持するパッチを保証することで、3次元表面回帰ネットワークの効率的学習が可能になった。
• CNNフレームワークへのCRF潜在変数の統合により、特に複雑な幾何形状を示す領域で表面の滑らかさと境界の正確性が向上した。
• 本手法は、ボクセル単位の分類に依存しないにもかかわらず、U-NetやV-Netのベースラインと比較して表面精度で優れた性能を示した。