[論文レビュー] Weakly Supervised Estimation of Shadow Confidence Maps in Fetal Ultrasound Imaging

Qingjie Meng, Matthew Sinclair+12 more|arXiv (Cornell University)|Nov 20, 2018

Fetal and Pediatric Neurological Disorders参考文献 25被引用数 4

ひとこと要約

本論文は、画像レベルのラベルと少量の粗いピクセル単位のアノテーションのみを用いて、2次元胎児超音波画像における濃淡の連続的で高密度なシャドウ信頼度マップを推定する弱教師付き深層学習手法を提案する。シャドウセグモジュール、トランスファーファンクション、信頼度推定ネットワークを活用することで、人間の専門家を上回る高いセグメンテーション精度とより一貫性のある信頼度マップを達成し、ソノグラファーに対するリアルタイムのガイダンスと、画像分類や生物学的測定などの下流タスクにおける性能向上を可能にする。

ABSTRACT

Detecting acoustic shadows in ultrasound images is important in many clinical and engineering applications. Real-time feedback of acoustic shadows can guide sonographers to a standardized diagnostic viewing plane with minimal artifacts and can provide additional information for other automatic image analysis algorithms. However, automatically detecting shadow regions using learning-based algorithms is challenging because pixel-wise ground truth annotation of acoustic shadows is subjective and time consuming. In this paper we propose a weakly supervised method for automatic confidence estimation of acoustic shadow regions. Our method is able to generate a dense shadow-focused confidence map. In our method, a shadow-seg module is built to learn general shadow features for shadow segmentation, based on global image-level annotations as well as a small number of coarse pixel-wise shadow annotations. A transfer function is introduced to extend the obtained binary shadow segmentation to a reference confidence map. Additionally, a confidence estimation network is proposed to learn the mapping between input images and the reference confidence maps. This network is able to predict shadow confidence maps directly from input images during inference. We use evaluation metrics such as DICE, inter-class correlation and etc. to verify the effectiveness of our method. Our method is more consistent than human annotation, and outperforms the state-of-the-art quantitatively in shadow segmentation and qualitatively in confidence estimation of shadow regions. We further demonstrate the applicability of our method by integrating shadow confidence maps into tasks such as ultrasound image classification, multi-view image fusion and automated biometric measurements.

研究の動機と目的

• 胎児超音波画像における音響シャドウ検出のための限られたかつ主観的なピクセル単位のアノテーションの課題に対処すること。
• 画像レベルラベルと疎な粗いアノテーションのみを用いて、濃淡の連続的で高密度なシャドウ領域の信頼度マップを生成する弱教師付き手法を開発すること。
• 人間の間で観察される変動を超えて、シャドウ検出の一貫性と正確性を向上させること。
• スキャン平面の最適化とアーチファクトの低減を支援するため、ソノグラファーにリアルタイムフィードバックを提供すること。
• 統合されたシャドウ信頼度マップを活用して、画像分類、マルチビュー統合、自動生物学的測定などの下流アプリケーションの性能を向上させること。

提案手法

• シャドウセグモジュールは、画像全体のラベル（「シャドウあり」または「シャドウなし」）に基づいて学習され、一般的なシャドウ特徴を学習する。
• トランスファーファンクションは、真陽性領域の平均強度（式1）を用いて、二値のシャドウセグメンテーション出力を参照用の信頼度マップに変換する。
• 信頼度推定ネットワークは、参照マップを教師として用い、入力画像から直接連続的なシャドウ信頼度マップを予測するように訓練される。
• 胎児脳特有のシャドウ特徴を高めるために、少量の粗いピクセル単位のアノテーション（画像レベルラベル付き画像の約10％）を活用して潜在空間を微調整する。
• DICE、MSE、およびソフトDICEを含む損失関数を用いて、エンドツーエンドでネットワークを訓練し、セグメンテーションと信頼度推定を最適化する。
• 強度ベースのスムージングとICCやソフトDICEといった評価指標の活用により、ノイズが多いまたは不正確な粗いアノテーションに対してもロバストである。

実験結果

リサーチクエスチョン

• RQ1 画像レベルラベルと疎な粗いアノテーションのみを用いて、正確で一貫性のあるシャドウ信頼度マップを生成できるか？
• RQ2 本手法は、人間のアノテーター間の変動を上回るシャドウセグメンテーションの正確性と信頼度マップの一貫性を達成できるか？
• RQ3 推定されたシャドウ信頼度マップは、画像分類や生物学的測定などの下流超音波アプリケーションの性能向上に寄与できるか？
• RQ4 空間的相関性やヒューリスティックなハイパーパrameterに依存せずに、複数の離れたシャドウ領域を検出できるか？
• RQ5 ソノグラファーが最適なスキャン平面選択を支援するためのリアルタイムフィードバックを提供できるか？

主な発見

• 本手法は定量的シャドウセグメンテーションにおいて最先端の手法を上回り、既存のアプローチよりも高いDICEスコアと低いMSEスコアを達成した。
• 人間のアノテーションよりも高い一貫性を示し、アノテーター間相関（ICC）値が、アノテーター間の信頼性を上回ることを示した。
• 信頼度推定ネットワークは、複雑なシャドウパターンを示す領域においても、ベースライン手法よりも視覚的に妥当で滑らかな信頼度マップを生成した。
• シャドウ信頼度マップの統合により、標準的なスキャン平面分類、マルチビュー画像統合、自動生物学的測定の性能が向上し、実世界の応用における有効性が示された。
• 従来の手法よりも顕著に高速な推論時間を達成し、臨床ガイドラインへのリアルタイム導入が可能になった。
• 本手法は複数の離れたシャドウ領域の検出に対しても良好に一般化され、強度ベースのスムージングと損失関数の設計のおかげで、不完全な粗いアノテーションに対してもロバストであることが示された。