[論文レビュー] Temporal HeartNet: Towards Human-Level Automatic Analysis of Fetal Cardiac Screening Video

Weilin Huang, Christopher P. Bridge+2 more|arXiv (Cornell University)|Jul 3, 2017

Fetal and Pediatric Neurological Disorders参考文献 8被引用数 11

ひとこと要約

本稿では、再帰的畳み込みニューラルネットワークと円形アンカー、IoU損失を用いて、2次元超音波動画において胎児心臓の可視性、視断面、位置、方向を同時に予測する深層学習モデル、Temporal HeartNetを提案する。臨床実データセット上で人間の水準の性能を達成し、分類および局所化精度の両面で先行手法を上回り、フレーム間の時間的ダイナミクスをモデル化している。

ABSTRACT

We present an automatic method to describe clinically useful information about scanning, and to guide image interpretation in ultrasound (US) videos of the fetal heart. Our method is able to jointly predict the visibility, viewing plane, location and orientation of the fetal heart at the frame level. The contributions of the paper are three-fold: (i) a convolutional neural network architecture is developed for a multi-task prediction, which is computed by sliding a 3x3 window spatially through convolutional maps. (ii) an anchor mechanism and Intersection over Union (IoU) loss are applied for improving localization accuracy. (iii) a recurrent architecture is designed to recursively compute regional convolutional features temporally over sequential frames, allowing each prediction to be conditioned on the whole video. This results in a spatial-temporal model that precisely describes detailed heart parameters in challenging US videos. We report results on a real-world clinical dataset, where our method achieves performance on par with expert annotations.

研究の動機と目的

• 先天性心疾患の早期発見を支援するため、胎児心臓スクリーニング用超音波動画を自動分析する手法を開発すること。
• 異なるスキャン断面や画像条件における胎児心臓の外観のばらつきという課題に対処すること。
• 動画の各フレームに対して、可視性、視断面、位置、方向の複数の心臓パラメータを同時に予測すること。
• フレーム間の時間的依存関係をモデル化することで、検出のロバスト性と一貫性を向上させること。
• 臨床現場における専門家によるアノテーションと同等の性能を達成すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）内にマルチタスク学習フレームワークを用い、フレーム単位で胎児心臓の可視性、視断面、位置、方向を同時に予測する。
• 複数スケールで心臓の概ね円形の形状に対応できるように、円形アンカーを設計し、局所化精度を向上させる。
• 心臓の中心座標と半径を1つのユニットとして同時に回帰するため、交差領域（IoU）損失関数を適用し、検出精度を向上させる。
• 時間的ダイナミクスのモデル化を可能にするために、双方向再帰ニューラルネットワーク（RNN）を統合し、連続フレームにおける領域特徴を再帰的に計算する。
• モデルはエンドツーエンドで訓練され、各フレームの予測に時間的文脈が反映される。また、タスク固有の特徴学習を解釈可能にするために、注目マップを可視化する。
• 本アーキテクチャは、12名の被験者から得られた91本の胎児心臓スクリーニング動画からなる実世界データセットを用い、1人を除いた交差検証（leave-one-out）で評価された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、リアルタイムの超音波動画において、可視性、視断面、位置、方向といった複数の胎児心臓パラメータを正確に同時に予測できるか？
• RQ2 再帰ネットワークによる時間的モデリングを組み込むことで、フレーム単位の分析に比べ、検出性能がどのように向上するか？
• RQ3 円形アンカーとIoU損失を導入することで、心臓の円形構造に対する局所化精度はどの程度向上するか？
• RQ4 モデルは臨床現場において専門家のアノテーションと同等の性能を達成できるか？
• RQ5 分類と時間的フィルタリングを別々に訓練する従来の最先端手法と比較して、本モデルの性能はどのように異なるか？

主な発見

• 提案された時間的モデルは、プロトコル-I下で分類と局所化の誤差率を21.6%まで低減し、従来の最先端手法（34%誤差）を上回り、人間間の差異（26%誤差）に近づいた。
• IoU損失を適用したモデルはプロトコル-I下で26.8%の誤差を達成し、円形アンカーベースライン（28.8%誤差）を著しく上回り、時間的モデリングを行わないBridgeらの最良結果（34%誤差）をも上回った。
• 時間的モデルはプロトコル-II下で27.7%の誤差を示し、半径予測を含むIoUベースの局所化を実装することで、現実世界の検出シナリオにおけるロバスト性を示した。
• 方向予測においても高い一貫性を示し、誤差が0.072にとどまり、人間水準の性能と同等であった。
• 注目マップから、タスク固有の監視を必要とせず、方向予測など各タスクに特化した解釈可能な特徴を、関連する解剖学的領域に焦点を合わせながら学習していることが明らかになった。
• 双方向RNNの統合により、モデルは動画全体の文脈を活用でき、心臓構造が一時的に見えなくなったり部分的にしか見えなくても、検出の安定性が著しく向上した。