[論文レビュー] End-to-End Learning-Based Ultrasound Reconstruction

Walter Simson, Rüdiger Göbl+5 more|arXiv (Cornell University)|Apr 9, 2019

Ultrasound Imaging and Elastography参考文献 5被引用数 12

ひとこと要約

本論文は、原始的な時間遅延画像データを最小分散（MV）に類似した画像にマッピングするように学習された、独自の損失関数を用いた完全畳み込みニューラルネットワーク（FCNN）を用いたエンド・ツー・エンドのディープラーニングベースの超音波再構成手法を提案している。この手法は、診断用画像品質がMVビームフォーミングと同等でありながら、リアルタイム性能（17 Hzのフレームレート）を達成しており、フィズィカルおよび臨床的評価において、従来のDASよりも優れた画像品質を示しており、臨床的実用性を示している。

ABSTRACT

Ultrasound imaging is caught between the quest for the highest image quality, and the necessity for clinical usability. Our contribution is two-fold: First, we propose a novel fully convolutional neural network for ultrasound reconstruction. Second, a custom loss function tailored to the modality is employed for end-to-end training of the network. We demonstrate that training a network to map time-delayed raw data to a minimum variance ground truth offers performance increases in a clinical environment. In doing so, a path is explored towards improved clinically viable ultrasound reconstruction. The proposed method displays both promising image reconstruction quality and acquisition frequency when integrated for live ultrasound scanning. A clinical evaluation is conducted to verify the diagnostic usefulness of the proposed method in a clinical setting.

研究の動機と目的

• 高品質なデータ依存ビームフォーマー（例：MV）と臨床的実用性のあるリアルタイム再構成の間のギャップを埋める。
• 原始的な時間遅延データから高精細な超音波画像を直接再構成できるディープニューラルネットワークを開発する。
• 臨床的関連性の高い画像特徴（例：コントラスト、テクスチャ、スぺックル特性）に向けたモダリティ特化型の損失関数を設計する。
• 臨床的有用性を確認するため、フィズィカルおよび臨床的環境の両方で手法を検証する。
• MVビームフォーミングの品質を同等または上回りながら、15 Hz以上（≥15 Hz）のリアルタイム性能を達成する。

提案手法

• 完全畳み込みニューラルネットワーク（FCNN）を、時間遅延された原始的超音波データを最小分散（MV）ビームフォーマーの正解画像にマッピングするように学習する。
• 画像品質の向上とノイズ低減を目的として、平均二乗誤差（MSE）、構造的類似性指数（SSIM）、および全変動（TV）正則化を組み合わせたカスタム損失関数を用いる。
• 損失関数は超音波画像診断に特化しており、診断的評価に関連するコントラスト、テクスチャ、スぺックル特性を強調する。
• ネットワーク最適化に合成データやフィズィカルデータを一切使用せず、臨床的データを用いてエンド・ツー・エンドで学習を行う。
• GPU上で臨床的超音波デバイスに実装し、リアルタイム推論を実現しており、17 Hzのフレームレートを達成している。
• 完全畳み込みアーキテクチャを活用することで、任意のスキャン深度をサポートし、空間的一致性を維持している。

実験結果

リサーチクエスチョン

• RQ1 原始的データからMVビームフォーミングと同等の診断品質を持つ高品質な超音波画像を再構成できるディープニューラルネットワークを学習できるか？
• RQ2 コントラスト、テクスチャ、スぺックルといった臨床的関連画像特徴に向けたネットワーク出力を誘導するカスタム損失関数を設計できるか？
• RQ3 提案手法は15 Hz以上（≥15 Hz）のリアルタイム性能を維持しながら、従来のDASビームフォーミングを上回る画像品質を実現できるか？
• RQ4 ネットワークは未観測の臨床的解剖的構造および臨床状況に一般化できるか？
• RQ5 ネットワークは診断的有用性を損なわずに臨床的超音波ワークフローに統合できるか？

主な発見

• 提案手法は17 Hzのフレームレートを達成しており、MVビームフォーマー（0.14 Hz）と比較して121倍の高速化を実現し、リアルタイム臨床利用を可能にしている。
• 臨床的評価において、全7項目の評価指標で平均スコアが最高（2.95/5）を記録し、DAS（2.19/5）およびMV（2.90/5）を上回った。
• コントラスト（3.35/5）、分解能（2.95/5）、微細解剖（2.47/5）の各項目で最高スコアを記録しており、優れた診断的潜在能力を示している。
• ネットワークは強力な一般化能力を示し、甲状腺や上腕筋膜筋（brachioradialis muscle）など未観測の解剖的構造の臨床的画像を高品質に再構成した。
• 医師による評価で、カスタム損失関数が構造的忠実性の向上とスぺックルの低減を実現するように効果的にネットワークを誘導したことが確認された。
• すべての定性的評価項目でDASを上回り、MVビームフォーミングの121倍の高速化を達成した。これにより、臨床的実用性と性能向上が裏付けられた。