[論文レビュー] View Classification and Object Detection in Cardiac Ultrasound to Localize Valves via Deep Learning

Derya Gol Gungor, Bimba Rao+2 more|arXiv (Cornell University)|Oct 31, 2023

Cardiac Valve Diseases and Treatments被引用数 5

ひとこと要約

本論文は、オブジェクト検出を用いて心エコー画像の心臓弁を分類・局在化する深層学習パイプラインを提示している。大動脈弁、僧帽弁、三尖弁の局在精度が高く、心尖4切面で高い性能を達成している。本研究は、2次元心エコー画像における弁の局在化に最先端のオブジェクト検出ネットワークを適用した最初の研究であり、心尖4切面でmAPが最大0.343（IoU: 0.50:0.95）を達成した。

ABSTRACT

Echocardiography provides an important tool for clinicians to observe the function of the heart in real time, at low cost, and without harmful radiation. Automated localization and classification of heart valves enables automatic extraction of quantities associated with heart mechanical function and related blood flow measurements. We propose a machine learning pipeline that uses deep neural networks for separate classification and localization steps. As the first step in the pipeline, we apply view classification to echocardiograms with ten unique anatomic views of the heart. In the second step, we apply deep learning-based object detection to both localize and identify the valves. Image segmentation based object detection in echocardiography has been shown in many earlier studies but, to the best of our knowledge, this is the first study that predicts the bounding boxes around the valves along with classification from 2D ultrasound images with the help of deep neural networks. Our object detection experiments applied to the Apical views suggest that it is possible to localize and identify multiple valves precisely.

研究の動機と目的

• 2次元心エコー画像における心臓弁の自動的局在化および分類を、深層学習を用いて実現すること。
• 定量的血行動態評価のため、僧帽弁、大動脈弁、三尖弁の自動検出を可能にすることで、臨床ワークフローの改善を図ること。
• 従来のセグメンテーションベースの手法の限界を克服し、弁の周囲に正確なバウンディングボックスを予測するオブジェクト検出を用いること。
• リアルタイムでの弁の局在化と可視化を通じて、経験の少ないエコーカーディオグラファーのトレーニングと支援を可能にすること。
• 複数の心尖切面にわたる文脈に配慮した弁検出を可能にするために、視点分類の拡張を図ること。

提案手法

• 2段階の深層学習パイプラインを提案：まず、事前学習済みのCNNを用いて、解剖的視点（例：心尖2切面、3切面、4切面）を特定する。
• 次に、領域ベースのオブジェクト検出ネットワーク（Faster R-CNN）を、分類済みの視点内での弁の局在化と分類に適用する。
• オブジェクト検出モデルはアンカーボックスと領域提案を用い、クラス固有の信頼度スコアを伴うバウンディングボックスを予測する。
• データ拡張には、部分的な弁の出現をシミュレートし、画像変動に強い性能を向上させるために、クロップ・パディング処理を含む。
• モデル学習には分類のための交差エントロピー損失と、バウンディングボックス回帰のためのスムーズL1損失を用いる。
• 評価には、複数のIoU閾値（0.50:0.95、0.50、0.75）における平均平均精度（mAP）と平均平均リ call（mAR）を用いる。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくオブジェクト検出は、心尖2次元心エコー画像における僧帽弁、大動脈弁、三尖弁の正確な局在化と分類が可能か？
• RQ2 オブジェクト検出の性能は、特にmAPと検出信頼度の観点から、異なる心尖切面でどのように変動するか？
• RQ3 画像アーチファクト、ノイズ、部分的な弁の可視性が、検出精度にどの程度影響を及えるか？
• RQ4 本パイプラインは、処理速度、精度、画像変動へのロバストネスの観点から、従来のセグメンテーションベースの手法を上回る性能を示せるか？
• RQ5 視点分類とオブジェクト検出を統合したエンドツーエンドのパイプラインとして、自動弁局在化を実現するのは現実的か？

主な発見

• 心尖4切面が最も高いmAP（0.343、IoU: 0.50:0.95）を達成した。これは、訓練データ量が多く、弁のサイズが大きいことが要因とされた。
• 心尖2切面は、僧帽弁が最大であるにもかかわらず、mAPが最低（0.151）であった。これは、正解アノテーションのばらつきが大きいことが原因とされた。
• 心尖3切面ではmAPが0.170（IoU: 0.50:0.95）を達成したが、大動脈弁のスコアが低く、その小さなサイズとノイズの多い画像での可視性の低さが要因とされた。
• モデルは、テスト画像における部分的に可視な弁を正しく検出できた。これは、クロップ・パディング処理を含むデータ拡張のおかげであると推察された。
• 心臓の回転により僧毛弁が小さく表示された場合、検出信頼度スコアが著しく低下した。これは、画像平面の向きに敏感であることを示している。
• 可視化結果から、動的レンジ、ズーム、ノイズレベルの異なる多様な画像条件下でも、僧毛弁および三尖弁の一貫した局在化が確認された。