[論文レビュー] Deep Learning with Attention to Predict Gestational Age of the Fetal Brain

Liyue Shen, Katie Shpanskaya+7 more|arXiv (Cornell University)|Dec 9, 2018

Fetal and Pediatric Neurological Disorders参考文献 1被引用数 8

ひとこと要約

本稿では、軸方向、冠状方向、矢状方向のマルチビュー胎児脳MRIを活用して、高い精度で胎齢を予測するエンドツーエンドのアテンションベースのディーブラーニングフレームワークを提案する。弱い教師付きアテンションマップを用いて回転不変性を持つ局所化とクロッピングを実現することで、125〜273日までの多様な被験者コhortにおいて、R² = 0.94、平均絶対誤差（MAE）6.8日を達成した。

ABSTRACT

Fetal brain imaging is a cornerstone of prenatal screening and early diagnosis of congenital anomalies. Knowledge of fetal gestational age is the key to the accurate assessment of brain development. This study develops an attention-based deep learning model to predict gestational age of the fetal brain. The proposed model is an end-to-end framework that combines key insights from multi-view MRI including axial, coronal, and sagittal views. The model also uses age-activated weakly-supervised attention maps to enable rotation-invariant localization of the fetal brain among background noise. We evaluate our methods on the collected fetal brain MRI cohort with a large age distribution from 125 to 273 days. Our extensive experiments show age prediction performance with R2 = 0.94 using multi-view MRI and attention.

研究の動機と目的

• マルチビューMRIを用いて胎児脳の胎齢を高精度に予測するエンドツーエンドのディープラーニングフレームワークの開発。
• 胎児脳の位置や方向が多様であるMRIにおいて、アテンションメカニズムを弱い教師付きで導入し、自動的な局所化を実現することで、その課題に対処する。
• グローバルとローカルの特徴を統合することで、統一されたモデル内で複数のMRIビュー（軸方向、冠状方向、矢状方向）の特徴を統合し、回帰性能を向上させる。
• アテンションメカニズムが関連する解剖学的特徴に注目することで、母体や背景ノイズを除外し、モデル性能を向上させることを示す。
• 125〜273日までの胎齢をカバーする大規模で多様な胎児MRIコホートを用いて、手法の妥当性を検証する。

提案手法

• 年齢回帰のためのグローバルブランチとして、残差ネットワーク（ResNet-18 および ResNet-50）をバックボーンとして使用する。
• 最終の残差ブロック後の特徴マップから、アテンションマップを生成する。
• アテンションマップをしきい値処理（ResNet-18 では 0.3、ResNet-50 では 0.4）することで、二値マスクを生成し、自動的な部分画像クロッピングを実現する。
• 周囲の周囲長が最小になるように、最も多くのしきい値処理済みピxlsを含む長方形のバウンディングボックスを計算し、クロップ領域を 224×224 にリサイズしてローカルブランチへの入力とする。
• グローバルブランチとローカルブランチからの特徴を連結または平均化することで統合し、最終的な回帰予測を行う。
• 予測された胎齢と真の胎齢の間のL2損失を最小化するように、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 アノテーションなしのノイズの多い、多様な方向のMRIスキャンにおいて、アテンションベースのディープラーニングモデルは、弱い教師付きのアテンションマップを用いて、自動的に胎児脳を局所化できるか？
• RQ2 軸方向、冠状方向、矢状方向のマルチビューMRIは、単一ビューのアプローチと比較して、どのように胎齢予測を向上させるか？
• RQ3 アテンションメカニズムが関連する解剖学的特徴に注目することで、回帰精度をどの程度向上させるか？
• RQ4 自動的な脳領域クロッピングのためのアテンションマップ二値化における最適なしきい値は何か？
• RQ5 グローバルブランチとローカルブランチからの特徴の統合は、単独で使用する場合と比較して、より優れた性能を達成するか？

主な発見

• 提案されたモデルは、マルチビューMRIとアテンションを用いて、R² = 0.94、平均絶対誤差（MAE）6.8日を達成した。
• グローバルとローカルブランチからの特徴を連結する統合ブランチは、ResNet-50を用いた場合に最も高い性能を示し、R² = 0.9420、MAE = 6.8444を達成した。
• アテンションメカニズムは、ベースライン精度が低い場合でも顕著に性能を向上させ、モデルが関連する脳構造に注目できるようにした。
• マルチビュー学習は一貫して単一ビュー予測を上回り、特に軸方向と冠状方向の平面が最も情報をもたらす特徴を提供した。
• アテンションマップの二値化におけるしきい値は、性能に顕著な影響を及ぼし、最適でない値（高すぎたり低すぎたり）はモデルの精度を低下させた。
• 可視化結果から、アテンションメカニズムが多様なスキャン方向と背景において、自動的かつ強固に胎児脳を局所化していることが確認された。