[論文レビュー] Subsequent Boundary Distance Regression and Pixelwise Classification Networks for Automatic Kidney Segmentation in Ultrasound Images.

Shi Yin, Qinmu Peng+6 more|arXiv (Cornell University)|Nov 12, 2018

Pediatric Urology and Nephrology Studies被引用数 2

ひとこと要約

本稿では、境界距離回帰とピクセル単位分類ネットワークを組み合わせることで、超音波画像における腫瘍の自動セグメンテーションのための新規な深層学習フレームワークを提案する。事前学習された特徴量と腫瘍形状の登録に基づくデータ拡張戦略を用いることで、標準的なピクセル分類ネットワークに比べて優れた性能を達成し、限られたアノテーション付きデータにおいてもセグメンテーション精度を顕著に向上させる。

ABSTRACT

It remains challenging to automatically segment kidneys in clinical ultrasound (US) images due to the kidneys' varied shapes and image intensity distributions, although semi-automatic methods have achieved promising performance. In this study, we propose subsequent boundary distance regression and pixel classification networks to segment the kidneys, informed by the fact that the kidney boundaries have relatively homogenous texture patterns across images. Particularly, we first use deep neural networks pre-trained for classification of natural images to extract high-level image features from US images, then these features are used as input to learn kidney boundary distance maps using a boundary distance regression network, and finally the predicted boundary distance maps are classified as kidney pixels or non-kidney pixels using a pixel classification network in an end-to-end learning fashion. We also adopted a data-augmentation method based on kidney shape registration to generate enriched training data from a small number of US images with manually segmented kidney labels. Experimental results have demonstrated that our method could effectively improve the performance of automatic kidney segmentation, significantly better than deep learning-based pixel classification networks.

研究の動機と目的

• 腫瘍の形状や強度分布の変動に起因する超音波画像における腫瘍の自動セグメンテーションの課題に対処すること。
• 超音波画像において腫瘍境界の均一なテクスチャパターンを活用して、セグメンテーション精度を向上させること。
• 境界距離回帰とピクセル分類を統合したエンドツーエンドの学習フレームワークを構築し、性能を向上させること。
• 限られた手動でセグメンテーションされた超音波画像から、形状登録に基づくデータ拡張を用いて豊富な訓練サンプルを生成することで、訓練データの効率を高めること。
• 最小限のアノテーション付きデータを用いて、既存の深層学習ベースのピクセル分類ネットワークを上回る腫瘍セグメンテーション性能を達成すること。

提案手法

• 自然画像分類で事前学習された深層ニューラルネットワークを用いて、超音波画像から高レベルの特徴量を抽出する。
• 画像特徴量から境界までの空間的距離を推定するため、境界距離回帰ネットワークを訓練する。
• 予測された境界距離マップに基づき、各ピクセルを腫瘍または非腫瘍に分類するピクセル分類ネットワークを適用する。
• 境界距離回帰とピクセル分類の両コンponentを同時に最適化するエンドツーエンドの学習戦略を実装する。
• 少量の手動でセグメンテーションされた超音波画像から、腫瘍形状の登録に基づくデータ拡張技術を適用して多様な訓練サンプルを合成する。
• 登録された形状を用いて、腫瘍の幾何学的形状の現実的な変異を生成し、モデルの汎化性能とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的なピクセル分類ネットワークと比較して、境界距離回帰を用いることで、超音波画像における腫瘍セグメンテーション性能が向上するか？
• RQ2 腫瘍境界における均一なテクスチャパターンを活用することで、セグメンテーション精度がどの程度向上するか？
• RQ3 限られた数のアノテーション付き超音波画像しかない状況において、形状ベースのデータ拡張はモデルの汎化性能をどの程度向上させるか？
• RQ4 自然画像分類で事前学習された特徴量は、医療用超音波画像のセグメンテーションにおいて、特徴表現を向上させるか？
• RQ5 境界距離マップをピクセル分類フレームワークに統合することで、より正確でロバストな腫瘍セグメンテーションが達成できるか？

主な発見

• 提案手法は、超音波画像における腫瘍の自動セグメンテーションにおいて、標準的な深層学習ベースのピクセル分類ネットワークを顕著に上回る性能を示した。
• 境界距離回帰とピクセル分類の統合により、より正確でロバストなセグメンテーション結果が得られた。
• 形状ベースのデータ拡張戦略は、限られたアノテーション付きサンプルでも、訓練データの多様性を効果的に高め、モデルの汎化性能を向上させた。
• 自然画像分類で事前学習された特徴量は、超音波画像のセグメンテーションにおいて強力な初期表現を提供し、性能向上に寄与した。
• エンドツーエンドの学習フレームワークは、空間的境界情報を効果的に活用し、ベースライン手法と比較してセグメンテーション精度が向上した。
• 本手法は、手動でセグメンテーションされた訓練画像が少量でも優れた性能を示し、データ効率性の高さが顕著に裏付けられた。