[論文レビュー] Automatic quality assessment for 2D fetal sonographic standard plane based on multi-task learning

Hong Luo, Han Liu+2 more|arXiv (Cornell University)|Dec 11, 2019

Fetal and Pediatric Neurological Disorders参考文献 21被引用数 8

ひとこと要約

本論文では、特徴抽出ネットワーク、領域提案ネットワーク、分類予測ネットワークの3つの畳み込みニューラルネットワークを用いたマルチタスク学習フレームワークを提案し、2次元胎児超音波画像の標準断面の品質を自動的に評価する。この手法は、1枚の画像あたり1秒未塔で熟練した超音波診断士と同等の精度で、重要な解剖学的構造を検出でき、熟練した超音波診断士への依存を著しく低減し、リソースが限られた環境でもスケーラブルで客観的な品質管理を可能にする。

ABSTRACT

The quality control of fetal sonographic (FS) images is essential for the correct biometric measurements and fetal anomaly diagnosis. However, quality control requires professional sonographers to perform and is often labor-intensive. To solve this problem, we propose an automatic image quality assessment scheme based on multi-task learning to assist in FS image quality control. An essential criterion for FS image quality control is that all the essential anatomical structures in the section should appear full and remarkable with a clear boundary. Therefore, our scheme aims to identify those essential anatomical structures to judge whether an FS image is the standard image, which is achieved by three convolutional neural networks. The Feature Extraction Network aims to extract deep level features of FS images. Based on the extracted features, the Class Prediction Network determines whether the structure meets the standard and Region Proposal Network identifies its position. The scheme has been applied to three types of fetal sections, which are the head, abdominal, and heart. The experimental results show that our method can make a quality assessment of an FS image within less a second. Also, our method achieves competitive performance in both the detection and classification compared with state-of-the-art methods.

研究の動機と目的

• 標準断面適合度の評価を自動化することで、胎児超音波画像の品質管理における主観性と作業負荷を低減すること。
• 画像ノイズ、影、低解像度の構造、胎児の動きといった要因が正確な検出と分類を困難にする課題に対処すること。
• 頭部、腹部、心臓の胎児断面における重要な解剖学的構造を特定する、堅牢で高速かつ汎用性の高い手法を開発すること。
• 熟練した超音波診断士が不足する地域への導入に適した、正確で客観的かつ効率的な品質評価を可能にすること。
• 統合されたマルチタスク学習アーキテクチャにおいて、特徴抽出、領域提案、分類ネットワークを統合することで、検出および分類性能を向上させること。

提案手法

• 特徴抽出ネットワーク（FEN）を用いて、2次元胎児超音波画像から深層表現を学習する。
• 領域提案ネットワーク（RPN）が抽出された特徴に基づき、重要な解剖学的構造を含む候補領域（ROIs）を特定する。
• 分類予測ネットワーク（CPN）が、同じ特徴マップを用いて、検出された構造が標準断面基準を満たしているかどうかを分類する。
• 関係モジュールを導入し、全体画像と個々の検出された構造との間の関係をモデル化することで、特徴学習を強化する。
• マルチタスク学習を活用して、検出と分類を同時に最適化することで、精度と推論速度の両方を向上させる。
• 低コントラスト、ノイズ、回転した胎児超音波画像に対して性能を向上させるために、先進的なオブジェクト検出技術を適応・変更する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのマルチタスクフレームワークは、頭部、腹部、心臓の複数の胎児断面において、2次元超音波画像で重要な解剖学的構造を高い精度で検出できるか？
• RQ2 提案されたマルチタスク学習アーキテクチャは、胎児標準断面評価における検出および分類性能において、最先端の手法と比較してどのように差をつけるか？
• RQ3 本手法は、胎児超音波検査の品質管理に要する時間と専門知識をどの程度低減できるか？
• RQ4 画像ノイズ、影、類似した解剖学的構造、胎児の動きといった課題に対して、本手法はどの程度頑健か？
• RQ5 本フレームワークは異なる超音波スキャナ間で一般化可能か？また、スキャナ間適合性にどのような制限があるか？

主な発見

• 提案手法は、検出および分類の両タスクで競争力のある性能を達成し、Zehui Linらのフレームワークを含む最先端手法を上回っている。
• システムは1枚の2次元胎児超音波画像を1秒未塔で評価でき、超音波診断士による手動評価よりも著しく高速である。
• 検出および分類の結果は、専門的な超音波診断士の結果と非常に一致しており、高い信頼性と客観性を示している。
• 関係モジュールとマルチタスク学習アーキテクチャの統合により、特徴表現が強化され、検出精度が向上している。
• 頭部、腹部、心臓の3つの胎児断面においても高い性能を維持しており、標準断面評価の範囲内で汎用性の高さを示している。
• 高い精度にもかかわらず、評価基準が厳しすぎるため、一部の誤検出が残っており、特に構造の一部（例：構造の中間部）しか見えない場合に顕著である。