[論文レビュー] Automatic kidney segmentation in ultrasound images using subsequent boundary distance regression and pixelwise classification networks

Shi Yin, Qinmu Peng+6 more|arXiv (Cornell University)|Nov 12, 2018

Pediatric Urology and Nephrology Studies参考文献 29被引用数 8

ひとこと要約

本論文は、境界距離回帰とピクセル単位分類ネットワークを組み合わせた2段階のディープラーニングフレームワークを提案し、超音波画像における自動腎臓セグメンテーションを実現する。事前学習済み特徴量と形状に基づくデータ増強戦略を活用することで、標準的なピクセル分類ネットワークに比べ優れた性能を達成し、変動する腎臓形状や強度パターンを示す困難な超音波画像において、顕著に高いセグメンテーション精度を実現する。

ABSTRACT

It remains challenging to automatically segment kidneys in clinical ultrasound (US) images due to the kidneys' varied shapes and image intensity distributions, although semi-automatic methods have achieved promising performance. In this study, we propose subsequent boundary distance regression and pixel classification networks to segment the kidneys, informed by the fact that the kidney boundaries have relatively homogenous texture patterns across images. Particularly, we first use deep neural networks pre-trained for classification of natural images to extract high-level image features from US images, then these features are used as input to learn kidney boundary distance maps using a boundary distance regression network, and finally the predicted boundary distance maps are classified as kidney pixels or non-kidney pixels using a pixel classification network in an end-to-end learning fashion. We also adopted a data-augmentation method based on kidney shape registration to generate enriched training data from a small number of US images with manually segmented kidney labels. Experimental results have demonstrated that our method could effectively improve the performance of automatic kidney segmentation, significantly better than deep learning-based pixel classification networks.

研究の動機と目的

• 変動する腎臓形状や強度分布に起因する超音波画像における自動腎臓セグメンテーションの課題に対処すること。
• 異なる超音波画像間での腎臓境界の構造的パターンを活用することで、セグメンテーション精度を向上させること。
• 境界距離回帰とピクセル単位分類をエンドツーエンドで統合するディープラーニングフレームワークを構築すること。
• 限られたアノテート済み超音波画像に対して、形状登録に基づくデータ増強技術を用いてトレーニングデータの効率を高めること。
• 臨床的超音波データセットにおいて、最先端の自動腎臓セグメンテーション性能を達成すること。

提案手法

• 自然画像分類で事前学習された深層ニューラルネットワークを活用し、超音波画像から高レベル特徴量を抽出する。
• 境界距離回帰ネットワークを用いて、各ピクセルが腎臓境界からどれほど近いかを示す距離マップを予測する。
• ピクセル分類ネットワークを用いて、予測された境界距離マップに基づき、各ピクセルを腎臓または非腎臓に分類する。
• 2つのネットワークをエンドツーエンド学習の形で統合し、境界検出とピクセル分類を同時に最適化する。
• 少量の手動でセグメンテーションされた超音波画像から、腎臓形状の登録に基づくデータ増強法を適用し、多様なトレーニングサンプルを生成する。
• 正解の腎臓セグメンテーションをラベルとして用い、教師あり学習により全モデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 境界距離回帰は、超音波画像における自動腎臓セグメンテーションの精度を向上させ得るか？
• RQ2 境界距離回帰とピクセル単位分類を組み合わせることで、標準的なディープラーニングベースのセグメンテーションネットワークを上回る性能が得られるか？
• RQ3 形状ベースのデータ増強は、限られたアノテート済み超音波データに対して、モデルの一般化性能をどの程度向上させ得るか？
• RQ4 自然画像分類で事前学習された特徴量は、医療用超音波画像セグメンテーションに効果的に転移可能か？
• RQ5 本手法は、臨床的超音波スキャンで一般的に見られる腎臓形状や画像強度の変動に対して、どの程度頑健か？

主な発見

• 提案手法は、標準的なディープラーニングベースのピクセル分類ネットワークに比べ、腎臓セグメンテーション精度において顕著に優れている。
• 境界距離回帰とピクセル分類の統合により、特にコントラストが低いかつノイズが多い領域でも、境界の局所化がより正確になる。
• 形状ベースのデータ増強技術は、アノテート済みサンプルが限られているにもかかわらず、トレーニングデータの多様性を効果的に高め、モデルの一般化性能を向上させる。
• 自然画像分類で事前学習された特徴量の活用により、超音波画像に対する特徴表現学習が向上する。
• エンドツーエンドのトレーニング戦略により、境界検出とセグメンテーションの共同最適化が可能となり、全体的な性能が向上する。
• 本手法は、臨床的超音波スキャンで一般的に見られる腎臓形態の変動や画像強度パターンの変動に対して、強い頑健性を示す。