[論文レビュー] BabyNet: Residual Transformer Module for Birth Weight Prediction on Fetal Ultrasound Video

Szymon Płotka, Michal K. Grzeszczyk+5 more|arXiv (Cornell University)|May 19, 2022

Neonatal and fetal brain pathology参考文献 19被引用数 17

ひとこと要約

BabyNet は、標準的な平面検出を必要とせず、2D + t 胎児超音波動画スキャンから直接胎児出生体重を予測するエンドツーエンドのディーブラーニングフレームワークである。新規のリプルサルトランスフォーマーモジュール（RTM）を採用しており、最先端の手法や専門医の診断精度と同等の性能を達成する。特に人間の予測とモデルの予測を組み合わせた場合に最も優れた性能を示し、mMAPEは 5.2% であった。

ABSTRACT

Predicting fetal weight at birth is an important aspect of perinatal care, particularly in the context of antenatal management, which includes the planned timing and the mode of delivery. Accurate prediction of weight using prenatal ultrasound is challenging as it requires images of specific fetal body parts during advanced pregnancy which is difficult to capture due to poor quality of images caused by the lack of amniotic fluid. As a consequence, predictions which rely on standard methods often suffer from significant errors. In this paper we propose the Residual Transformer Module which extends a 3D ResNet-based network for analysis of 2D+t spatio-temporal ultrasound video scans. Our end-to-end method, called BabyNet, automatically predicts fetal birth weight based on fetal ultrasound video scans. We evaluate BabyNet using a dedicated clinical set comprising 225 2D fetal ultrasound videos of pregnancies from 75 patients performed one day prior to delivery. Experimental results show that BabyNet outperforms several state-of-the-art methods and estimates the weight at birth with accuracy comparable to human experts. Furthermore, combining estimates provided by human experts with those computed by BabyNet yields the best results, outperforming either of other methods by a significant margin. The source code of BabyNet is available at https://github.com/SanoScience/BabyNet.

研究の動機と目的

• 2D + t 超音波動画スキャンから直接胎児出生体重を予測するエンドツーエンドのディーブラーニング手法の開発。
• 従来の手法が標準的胎児断面の手動特定とヒューリスティック式に依存するという限界を克服すること。
• 3Dマルチヘッド自己注意（MHSA）とリプルサル接続、時間的位置符号化を統合することで予測精度を向上させること。
• 臨床データセットを用いて出産の1日前に収集されたデータでモデルを評価し、実臨床応用の妥当性を確保すること。
• 人間の専門家による推定とAI予測を統合することで、より優れた性能が得られるかを検討すること。

提案手法

• BabyNet は、最後の2つのリプルサルモジュールを新規のリプルサルトランスフォーマーモジュール（RTM）に置き換えた3D ResNet-18バックボーンに基づいている。
• RTM は、3Dマルチヘッド自己注意（MHSA）と3D畳み込み層、バッチ正規化を統合し、局所的およびグローバルな特徴の共同学習を実現する。
• 時間的位置符号化（TPE）をMHSA機構に組み込み、動画入力における空間的・時間的順序を保持する。
• ネットワークは16フレームの動画セグメントを処理し、グローバル平均プーリングを適用して、1人あたり1つの出生体重予測を出力する。
• 225本の動画（75名の患者）から成る専用の臨床データセットを用いて、エンドツーエンドで学習を行う。
• 評価は5分割交差検証を用い、平均絶対誤差（mMAE）、平均二乗誤差（mRMSE）、平均絶対誤差率（mMAPE）を指標とする。

実験結果

リサーチクエスチョン

• RQ1 CNN-Transformerハイブリッドアーキテクチャは、標準的断面検出を要せず、2D + t 超音波動画スキャンから直接胎児出生体重を効果的に予測できるか？
• RQ2 時間的位置符号化を統合したリプルサルトランスフォーマーモジュールは、標準的3D CNN や純粋なトランスフォーマーと比較して、予測精度を向上させるか？
• RQ3 BabyNet の性能は、標準的臨床ツールを用いた専門医の診断と比較してどうか？
• RQ4 人間の専門家推定とBabyNetの出力を統合することで、単独での手法よりも顕著に優れた結果が得られるか？
• RQ5 小規模で臨床的に収集された、出産の直前に取得されたデータセットに対しても、モデルは一般化性能を示すか？

主な発見

• テストセットにおいて、BabyNet は平均絶対誤差（mMAE）254 ± 230 g、平均二乗誤差（mRMSE）341 ± 215 g、平均絶対誤差率（mMAPE）7.5 ± 6.6% を達成した。
• 専門家の推定とBabyNetの予測を組み合わせた場合が最も優れた性能を示し、mMAEは180 ± 156 g、mRMSEは237 ± 145 g、mMAPEは5.2 ± 4.6% であった。
• BabyNet の性能は、先行研究で報告された専門医の診断と統計的に有意差がなかった（p値 = 0.6）。ただし、別個の比較では専門医を上回った（p値 = 0.07）。
• アブレーションスタディにより、RTM と時間的位置符号化の追加がベースの3D ResNet-18に比べて性能を顕著に向上させたことが確認された。
• 3D畳み込みとMHSA、TPEを統合したハイブリッドRTM設計は、純粋なCNN、純粋なTransformer、またはCNN+Transformerハイブリッドと比較して優れた結果を示した。
• エンドツーエンドで生の動画クリップから学習することで、専門医レベルの精度に達することが示された。これは、意思決定支援ツールとしての強力な臨床的有用性を示唆している。