[論文レビュー] Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation in Ultrasound Images

Xin Yang, Lequan Yu+5 more|arXiv (Cornell University)|Dec 6, 2016

Medical Image Segmentation Techniques被引用数 6

ひとこと要約

本稿では、深刻な境界不完全性に対処するため、超音波画像における前立腺境界セグメンテーションを順序学習問題としてモデル化する細粒度の再帰的ニューラルネットワーク（BCRNN）フレームワークを提案する。生物学的にインspiredされたRNNをマルチスケールオートコンテキスト方式とマルチビュー融合と統合することで、曇り、遮蔽、低コントラストな境界を効果的に処理し、最先端の性能を達成した。

ABSTRACT

Boundary incompleteness raises great challenges to automatic prostate segmentation in ultrasound images. Shape prior can provide strong guidance in estimating the missing boundary, but traditional shape models often suffer from hand-crafted descriptors and local information loss in the fitting procedure. In this paper, we attempt to address those issues with a novel framework. The proposed framework can seamlessly integrate feature extraction and shape prior exploring, and estimate the complete boundary with a sequential manner. Our framework is composed of three key modules. Firstly, we serialize the static 2D prostate ultrasound images into dynamic sequences and then predict prostate shapes by sequentially exploring shape priors. Intuitively, we propose to learn the shape prior with the biologically plausible Recurrent Neural Networks (RNNs). This module is corroborated to be effective in dealing with the boundary incompleteness. Secondly, to alleviate the bias caused by different serialization manners, we propose a multi-view fusion strategy to merge shape predictions obtained from different perspectives. Thirdly, we further implant the RNN core into a multiscale Auto-Context scheme to successively refine the details of the shape prediction map. With extensive validation on challenging prostate ultrasound images, our framework bridges severe boundary incompleteness and achieves the best performance in prostate boundary delineation when compared with several advanced methods. Additionally, our approach is general and can be extended to other medical image segmentation tasks, where boundary incompleteness is one of the main challenges.

研究の動機と目的

• 劣悪な可視性や遮蔽によって正確なセグメンテーションが困難になる、前立腺超音波画像における境界不完全性の課題に対処する。
• 手作業で設計された記述子に依存し、局所的情報の損失を受ける伝統的な形状モデルの限界を克服する。
• 特徴抽出と形状事前学習をシームレスに統合するエンドツーエンドのフレームワークを構築し、頑健な境界推定を実現する。
• スパクルノイズ、低コントラスト、患者間での大きな解剖的変異性が存在する状況でも、セグメンテーションの正確性を向上させる。
• 同様の境界課題を抱える他の医療画像セグメンテーションタスクへの一般化可能性を示す。

提案手法

• 空間的関係の順序学習を可能にするために、2次元の前立腺超音波画像をシリアル化し、動的シーケンスに変換する。
• シリアル化されたシーケンス内の時間的依存性を活用して、生物学的に妥当な再帰的ニューラルネットワーク（RNN）を用いて形状事前分布を学習する。
• 異なるシリアル化方向からのバイアスを低減し、形状予測の頑健性を向上させるために、マルチビュー融合戦略を実装する。
• RNNコアをマルチスケールオートコンテキストフレームワークに統合し、段階的な詳細レベルでセグメンテーションマップを反復的に精緻化する。
• RMSPropを用いてバックプロパゲーションスルータイムでエンドツーエンドに訓練し、形状予測のユークリッド損失を最小化する。
• オートコンテキスト方式に3つのコンテキストレベル（粗いものから細かいものまで）を用い、各レベルが直前のレベルからの予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、超音波画像における欠落または曖昧な境界を回復するために、順序形状事前分布を効果的にモデル化できるか？
• RQ2 シリアル化されたシーケンスのマルチビュー融合は、単一ビューのシリアル化と比較して、形状予測の頑健性と正確性をどのように向上させるか？
• RQ3 RNNをマルチスケールオートコンテキストフレームワークに統合することで、詳細の精緻化と境界の明確化がどの程度向上するか？
• RQ4 提案されたBCRNNフレームワークは、挑戦的な超音波条件下で、事前学習済みのCNNおよびFCNモデルを上回る性能を示すか？
• RQ5 このフレームワークは、境界不完全性が主な障害となる他の医療画像セグメンテーションタスクにも一般化可能か？

主な発見

• BCRNN- Level1 および BCRNN- Level2 は、すべての評価指標において事前学習済みのT-CNNおよびT-FCNモデルと比較して優れたまたは競争力のある性能を達成した。
• BCRNN- Level0 から BCRNN- Level1 への精緻化により、すべての指標が顕著に向上し、階層的コンテキスト学習の有効性が裏付けられた。
• BCRNN- Level1 から BCRNN- Level2 への改善はわずかであり、3つのコンテキストレベルを超えると収益の逓減が顕著に現れた。
• Diceスコア、Jaccardスコア、コンフォーミティスコアで最先端の結果を達成し、競合手法よりも低い平均境界距離（Adb）を達成した。
• 学習曲線から、粗いレベルでの学習が細かいレベルでの最適化を加速していることが確認され、階層的ガイド効果が裏付けられた。
• 補助的なアクティブ形状モデル（ASM）は、BCRNNの形状予測マップからの強いガイドによって良好に動作し、予測された形状事前分布の質が裏付けられた。