[論文レビュー] Real-Time Detection and Localisation of Fetal Standard Scan Planes in 2D Freehand Ultrasound.

Christian F. Baumgartner, Konstantinos Kamnitsas+6 more|arXiv (Cornell University)|Dec 16, 2016

Fetal and Pediatric Neurological Disorders被引用数 5

ひとこと要約

本論文では、2次元フリーハンド超音波における13種類の胎児標準断面の自動検出および局在化を実現するリアルタイムで弱教師付きの畳み込みニューラルネットワーク手法を提案する。大規模な臨床データセットを用いた評価で、平均F1スコアは0.86、バウンディングボックス局在化の正確さは77.8%を達成し、初心者および熟練したオペレーターの両方を支援できる。

ABSTRACT

Identifying and interpreting fetal standard scan planes during 2D ultrasound mid-pregnancy examinations are highly complex tasks which require years of training. Apart from guiding the probe to the correct location, it can be equally difficult for a non-expert to identify relevant structures within the image. Automatic image processing can provide tools to help experienced as well as inexperienced operators with these tasks. In this paper, we propose a novel method based on convolutional neural networks which can automatically detect 13 fetal standard views in freehand 2D ultrasound data as well as provide a localisation of the fetal structures via a bounding box. An important contribution is that the network learns to localise the target anatomy using weak supervision only. The network architecture is designed to operate in real-time while providing optimal output for the localisation task. We present results for real-time annotation, retrospective frame retrieval from saved videos, and localisation on a very large and challenging dataset consisting of images and video recordings of full clinical anomaly screenings. The proposed method annotated video frames with an average F1-score of 0.86, and obtained a 90.09% accuracy for retrospective frame retrieval. Moreover, we achieved an accuracy of 77.8% on the localisation task.

研究の動機と目的

• 2次元フリーハンド超音波における胎児標準断面の特定および局在化は、広範な訓練を要し、非専門家には困難であるという課題に対処すること。
• 中期間の奇形スクリーニング中に、初心者および熟練したオペレーターの両方を支援できる自動手法を開発すること。
• 密な人為的アノテーションを必要とせず、弱教師付きでリアルタイムでの検出および胎児解剖学の局在化を可能にすること。
• フリーハンド超音波動画および静止画の、大規模で臨床的に現実的なデータセット上で性能を評価すること。
• 臨床ワークフロー統合のため、リアルタイムアノテーションおよびリトロスペクティブフレーム検索の両方で高い正確さを達成すること。

提案手法

• リアルタイムで2次元超音波フレームを処理し、検出および局在化を予測できる、カスタム設計の畳み込みニューラルネットワークアーキテクチャを設計する。
• 弱教師付き学習を採用し、正確なバウンディングボックスアノテーションを必要とせず、画像レベルのラベル（例：「このフレームに四心腔視聴が含まれる」）から学習する。
• モデルは分類（存在する標準視聴）と局在化（標的の解剖学的構造を囲むバウンディングボックス）の両方を出力する。
• 標準ハードウェアでもリアルタイム性能を確保できるよう、推論速度最適化を実施したアーキテクチャを採用する。
• 本手法は、静止画および動画シーケンスを含む、完全な奇形スクリーニング記録からなる大規模データセット上で訓練および評価された。
• リトロスペクティブフレーム検索は、保存済みの動画シーケンスをスキャンし、各フレームにモデルを適用することで実施された。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きの深層学習モデルは、フリーハンド2次元超音波において13種類の胎児標準断面を高い正確さとリアルタイム性能で検出できるか？
• RQ2 正確なバウンディングボックスアノテーションが一切ない状況でも、画像レベルのラベルのみを用いて胎児解剖学をどれほど正確に局在化できるか？
• RQ3 臨床的超音波データにおいて、リアルタイムアノテーションとリトロスペクティブフレーム検索の両方での性能はいかがなものか？
• RQ4 モデルは、完全な奇形スクリーニングから得られた、大規模で多様なフリーハンド2次元超音波記録のデータセットに一般化できるか？
• RQ5 弱教師付き条件下で、検出正確さと局在化精度のトレードオフはどのようなものか？

主な発見

• 提案手法は、13視聴の胎児標準断面のリアルタイム検出において、平均F1スコア0.86を達成した。
• リトロスペクティブフレーム検索では90.09%の正確さを達成し、保存済み動画データに対する強力な性能を示した。
• 局在化タスクでは77.8%の正確さを達成し、弱教師付きであるにもかかわらず、効果的なバウンディングボックス予測が可能であることを示した。
• ネットワークはリアルタイムで動作し、臨床ワークフローへの統合に適している。
• 本手法は、大規模で挑戦的な臨床的フリーハンド超音波記録データセットに対しても、良好な一般化性能を示した。
• 弱教師付き学習の採用により、アノテーション作業の負荷を顕著に低減しつつ、高い検出性能を維持できた。