[論文レビュー] Atrial Septal Defect Detection in Children Based on Ultrasound Video Using Multiple Instances Learning

Yiman Liu, Qiming Huang+10 more|arXiv (Cornell University)|Jun 6, 2023

Cardiovascular and Diving-Related ComplicationsMedicine被引用数 3

ひとこと要約

本論文は、胸骨下および低傍胸骨四心腔視野の2つの標準的超音波エコーカーディオグラムビューを用いて、小児の心房中隔欠損症（ASD）を検出する、複数インスタンス学習に基づくディーブラーニングフレームワークを提案する。この手法は、空間的・時間的特徴抽出にResNet18と3D-CNN（R3D）を採用し、ブロックランダムサンプリングと最大一致意思決定を組み合わせ、300名の小児からなるプライベートデータセットで5分割交差検証を実施した結果、84.95%の正確性と89.33%のAUCを達成した。

ABSTRACT

Purpose: Congenital heart defect (CHD) is the most common birth defect. Thoracic echocardiography (TTE) can provide sufficient cardiac structure information, evaluate hemodynamics and cardiac function, and is an effective method for atrial septal defect (ASD) examination. This paper aims to study a deep learning method based on cardiac ultrasound video to assist in ASD diagnosis. Materials and methods: We select two standard views of the atrial septum (subAS) and low parasternal four-compartment view (LPS4C) as the two views to identify ASD. We enlist data from 300 children patients as part of a double-blind experiment for five-fold cross-validation to verify the performance of our model. In addition, data from 30 children patients (15 positives and 15 negatives) are collected for clinician testing and compared to our model test results (these 30 samples do not participate in model training). We propose an echocardiography video-based atrial septal defect diagnosis system. In our model, we present a block random selection, maximal agreement decision and frame sampling strategy for training and testing respectively, resNet18 and r3D networks are used to extract the frame features and aggregate them to build a rich video-level representation. Results: We validate our model using our private dataset by five-cross validation. For ASD detection, we achieve 89.33 AUC, 84.95 accuracy, 85.70 sensitivity, 81.51 specificity and 81.99 F1 score. Conclusion: The proposed model is multiple instances learning-based deep learning model for video atrial septal defect detection which effectively improves ASD detection accuracy when compared to the performances of previous networks and clinical doctors.

研究の動機と目的

• 小児のエコーカーディオグラム動画を用いた、早期かつ正確な心房中隔欠損症（ASD）の自動的・ディーブラーニングベースの検出システムの開発を目的とする。
• 超音波動画におけるシャント信号の時間的限定的出現という課題に対処するため、強固な動画レベル表現学習戦略を設計することを目的とする。
• ASD検出の診断正確性を向上させ、特に熟練したエコーカーディオグラファーが不足する環境において、主観性を低減することを目的とする。
• 臨床医との比較を通じてモデルの性能を評価し、小児心臓病における意思決定支援ツールとしての可能性を示すこと

提案手法

• モデルは、ASD検出の入力として、胸骨下（subAS）および低傍胸骨四心腔視野（LPS4C）の2つの標準的エコーカーディオグラムビューを用いる。
• 訓練中に一般化性能を向上させるために、重複のない動画セグメントをサンプリングするブロックランダム選択戦略が適用される。
• フレームレベル特徴量は、事前学習済みのResNet18バックボーンを用いて抽出され、その後、3次元畳み込みネットワーク（R3D）が時間的特徴集約に用いられる。
• 注目メカニズム（AAM）が導入され、特にカラーDopplerシャント信号を含む顕著な領域を強調する。
• 推論段階では、複数のサンプリング済み動画ブロックの予測を集約することで、予測のロバスト性を向上させる最大一致意思決定機構が用いられる。
• モデルは、確認されたASD状態を持つ300名の小児からなるプライベートデータセットを用いて、5分割交差検証により訓練および検証された。

Figure 1 : Inclusion and exclusion criteria for the main cohort of this study

実験結果

リサーチクエスチョン

• RQ1 シャント信号が一時的にしか現れないにもかかわらず、ディーブラーニングモデルが小児の超音波動画におけるASDを効果的に検出できるか。
• RQ2 提案された複数インスタンス学習戦略は、標準的な動画分類ネットワークと比較して、検出性能をどのように向上させるか。
• RQ3 盲検された30例の小児症例を用いたテストにおいて、モデルは臨床医をどれほど上回るASD検出正確性を示すか。
• RQ4 注目集約、ブロックランダムサンプリング、最大一致意思決定といった主な構成要素が、全体のモデル性能に果たす寄与度はどの程度か。

主な発見

• プライベートデータセット300名を用いた5分割交差検証において、モデルは84.95%の正確性、89.33%のAUC、85.70%の感度、81.51%の特異度、81.99%のF1スコアを達成した。
• 盲検された臨床医比較において、モデルは83.33%の正確性を示し、ジュニア医師（63.66%）とシニア医師（71.70%）を上回った。
• モデルは、医師よりも高い陽性予測値（PPV）85.71%を示し、誤検出の低減という点で優れた性能を示した。
• ヒートマップ可視化により、モデルがカラーDopplerシャント信号に注目していることが確認され、臨床的妥当性と診断マーカーへの注目が裏付けられた。
• アブレーションスタディの結果、3D統合、注目集約、ブロックランダムサンプリング、最大一致意思決定の組み合わせにより、ベースラインから正確性が7.7%向上した。
• 2Dおよび3Dベースラインネットワークと比較して、モデルは優れた性能を示し、2D+3Dハイブリッドアーキテクチャが純粋な3DモデルよりもASD検出に効果的であることが判明した。

Figure 2 : The visualization of typical ASD and normal static images from the collected dataset. (A) an ASD frame from the subcostal view of the atrial septum, (B) an ASD frame from the low parasternal four-chamber view, (C) a normal frame from the subcostal view of the atrial septum, (D) a normal f