[論文レビュー] Learning beamforming in ultrasound imaging

Sanketh Vedula, Ortal Senouf+4 more|arXiv (Cornell University)|Dec 19, 2018

Ultrasound Imaging and Elastography参考文献 8被引用数 6

ひとこと要約

本稿では、深層学習を用いて送信ビームパターンと受信ビームフォーミングを同時に最適化するエンドツーエンドで微分可能な学習フレームワークを提案する。微分可能なビームフォーミング層を統合した統一された二重パスネットワークを訓練することで、特に測定数が少ない高フレームレート設定において、従来の遅延・和算ビームフォーマーを大きく上回る画像品質の向上を達成した。

ABSTRACT

Medical ultrasound (US) is a widespread imaging modality owing its popularity to cost efficiency, portability, speed, and lack of harmful ionizing radiation. In this paper, we demonstrate that replacing the traditional ultrasound processing pipeline with a data-driven, learnable counterpart leads to significant improvement in image quality. Moreover, we demonstrate that greater improvement can be achieved through a learning-based design of the transmitted beam patterns simultaneously with learning an image reconstruction pipeline. We evaluate our method on an in-vivo first-harmonic cardiac ultrasound dataset acquired from volunteers and demonstrate the significance of the learned pipeline and transmit beam patterns on the image quality when compared to standard transmit and receive beamformers used in high frame-rate US imaging. We believe that the presented methodology provides a fundamentally different perspective on the classical problem of ultrasound beam pattern design.

研究の動機と目的

• 高フレームレート超音波画像におけるフレームレートと画像品質のトレードオフを、最適な送信ビームパターンを学習することで解決すること。
• 送信と受信ステージを固定または独立して最適化する従来のビームフォーミングパイプラインの制限を克服すること。
• 送信ビームパターンと受信ビームフォーマーの両方を共同最適化可能な、完全に微分可能なエンドツーエンド信号処理パイプラインを開発すること。
• 前向きモデルのパラメータ（送信ビームパターン）を学習することで、逆問題の再構成プロセスのみを学習する場合よりも顕著な画像品質向上が得られることを示すこと。

提案手法

• 位相（I）および同調（Q）成分を並列に処理する統一された二重パス畳み込みニューラルネットワークが、最終的なエンvelope画像の損失を計算するために使用される。
• 異なる微分可能な画像ワープ（Jaderbergら）にインspiredされた、新規の微分可能なビームフォーミング層を導入し、ビームフォーミング操作のバックプロパゲーションを可能にした。
• ビームフォーミングおよび再構成を含む受信パイプライン全体を完全に微分可能にすることで、送信ビームパターンパラメータと共同最適化が可能になった。
• 画像処理タスクに適応可能な学習可能なビームフォーマーを用いて、送信ビームパターンをエンドツーエンドで最適化し、初期化としてマルチライン取得（MLA）、マルチライン送信（MLT）、およびランダムパターンを用いた。
• フレームワークは、遅延・和算ビームフォーマーで得られるSLA（シングルライン取得）画像を教師データとして用いた教師あり損失により訓練された。
• 本手法は、さまざまな減数率および初期化戦略に一般化でき、異なる画像条件に柔軟かつ頑健に適応できることを示した。

実験結果

リサーチクエスチョン

• RQ1 送信ビームパターンと受信ビームフォーミングを共同で学習することで、再構成パイプラインのみを学習する場合よりも超音波画像品質が向上するか？
• RQ2 ビームフォーミングプロセスのエンドツーエンド微分可能性が、送信ビームパターンの最適化をどのように向上させるか？
• RQ3 学習されたビームパターンの特徴は何か？ また、MLA、MLT、またはランダムパターンといった標準的な送信プロトコルと比較するとどうなるか？
• RQ4 前向きモデル（送信ビームパターン）を学習することで、逆写像（画像再構成）のみを学習する場合よりも大きな向上が得られるか？
• RQ5 異なる初期化および測定レートにおいて、学習されたパイプラインの性能はどのように一般化されるか？

主な発見

• 学習されたTx-Rxパイプラインは、in-vivo心臓データセットにおいてPSNR 31.14 dB、SSIM 0.92、L1誤差 7.62を達成し、標準的な遅延・和算ビームフォーマーを著しく上回った。
• 20-MLA設定では、学習されたTx-Rx手法はPSNRを1.0 dB向上させ、L1誤差を2.3削減した。
• 視覚的比較では、学習されたTx-Rx手法がアーチファクトを低減し、特に信号対雑音比が低い領域での分解能を向上させた。
• 学習されたビームパターンは、より高い指向性へと進化し、初期段階で広いビーム（例：20-MLA）が2つの明確な狭いビームへ収束する傾向を示し、焦点が改善された。
• 10-ランダム初期化実験では、学習されたビームパターンがランダムな非指向性ビームを著しく上回った。これは、学習された受信機では平面波が最適でない可能性を示唆している。
• 本手法は、さまざまな減数率および初期化スキームにおいて強力な一般化性能を示し、PSNR、SSIM、L1誤差の面で一貫した向上を達成した。