[論文レビュー] Deep Learning for Ultrasound Beamforming

Ruud J. G. van Sloun, Jong Chul Ye+1 more|arXiv (Cornell University)|Sep 23, 2021

Ultrasound Imaging and Elastography被引用数 4

ひとこと要約

本論文では、適応的インスタンス正規化（AdaIN）層を用いて、DAS、MVBF、デコンボリューションなどの複数の超音波ビームフォーミング手法を統合する1つのニューラルネットワークに統合可能なスイッチ可能なディープビームフォーマーを提案する。学習可能なAdaINコードでネットワークを条件づけることで、再トレーニングなしに多様なビームフォーミング出力を生成でき、メモリオーバーヘッドを顕著に削減するとともに、従来手法よりも画像品質を向上させる。

ABSTRACT

Diagnostic imaging plays a critical role in healthcare, serving as a fundamental asset for timely diagnosis, disease staging and management as well as for treatment choice, planning, guidance, and follow-up. Among the diagnostic imaging options, ultrasound imaging is uniquely positioned, being a highly cost-effective modality that offers the clinician an unmatched and invaluable level of interaction, enabled by its real-time nature. Ultrasound probes are becoming increasingly compact and portable, with the market demand for low-cost pocket-sized and (in-body) miniaturized devices expanding. At the same time, there is a strong trend towards 3D imaging and the use of high-frame-rate imaging schemes; both accompanied by dramatically increasing data rates that pose a heavy burden on the probe-system communication and subsequent image reconstruction algorithms. With the demand for high-quality image reconstruction and signal extraction from less (e.g unfocused or parallel) transmissions that facilitate fast imaging, and a push towards compact probes, modern ultrasound imaging leans heavily on innovations in powerful digital receive channel processing. Beamforming, the process of mapping received ultrasound echoes to the spatial image domain, naturally lies at the heart of the ultrasound image formation chain. In this chapter on Deep Learning for Ultrasound Beamforming, we discuss why and when deep learning methods can play a compelling role in the digital beamforming pipeline, and then show how these data-driven systems can be leveraged for improved ultrasound image reconstruction.

研究の動機と目的

• 臨床的超音波システムにおける、各ビームフォーミング手法（例：DAS、MVBF）に別々のディープラーニングモデルをトレーニングする際の高いメモリおよび計算コストを低減すること。
• 条件付きAdaINレイヤーを用いて、1つのディープラーニングモデルが複数のビームフォーミング出力（例：DAS、MVBF、スペックル除去画像）を生成できることを実現すること。
• 教師あり学習に必要なペアデータの必要性を減らすために、CycleGANを用いた非教師あり学習戦略を検討すること。
• データ駆動型ビームフォーミングを用いて、超音波画像の忠実度、解像度、コントラストを向上させるとともに、リアルタイム性能を維持すること。

提案手法

• 教師あり学習を用いて、ペア入力-ターゲットデータを用いて、生の超音波チャンネルデータをビームフォーマード画像にマッピングするディープニューラルネットワークをトレーニングする。
• 特徴マップをターゲットビームフォーミング手法に由来するスタイルコードで条件づける、適応的インスタンス正規化（AdaIN）レイヤーをネットワークに組み込む。
• AdaIN変換により、特徴マップの平均と分散を、たとえばDASやMVBFなどの参照スタイルに一致させる。これにより、動的出力切り替えが可能になる。
• AdaINコードは軽量なネットワークによって生成されるため、複数の完全なモデルを保存せずとも、効率的な推論が可能になる。
• 非教師あり学習のため、低価格のシステムからの画像品質向上を実現するために、未ペアの画像変換にCycleGANを用いる。
• AdaINコードを変更するだけでビームフォーミングを切り替えられるため、異なるイメージング設定にリアルタイムで適応可能になる。

Figure 1: An illustration of three transmit types. Transmit events are denoted by $e$ , receive channels as $c$ and, for focused scanlines, $2L+1$ is the size of the active aperture in terms of elements.

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークを用いて、DAS や MVBF などの複数のビームフォーミング技術（別々のモデルなしに）再現可能か？
• RQ2 AdaINレイヤーを用いて、ディープビームフォーマーをさまざまなビームフォーミング出力を生成できるように条件づける効果はいかほどか？
• RQ3 教師ありペアデータが入手不可な状況下で、非教師あり学習がビームフォーミング品質に与える影響は？
• RQ4 統合型ビームフォーマーは、臨床的超音波システムにおいて、メモリおよび計算コストを削減しながら、画像品質を維持または向上できるか？

主な発見

• AdaINレイヤーを備えた1つのディープビームフォーマーは、異なるAdaINコードを条件として用いることで、DAS、MVBF、デコンボリューション、スペックル除去などの複数のビームフォーミング出力を効果的に生成できる。
• AdaINベースのアプローチにより、各ビームフォーミング手法に別々のモデルをトレーニングする場合と比較して、メモリオーバーヘッドを著しく削減でき、ポータブル超音波システムへの実用的導入が可能になる。
• CycleGANを用いた非教師あり学習により、ペアデータがなくても画像品質の向上が可能であることが示され、教師ありデータが入手困難な現実世界のシナリオにおいても実用的であることが裏付けられた。
• 本手法は、特に低SNRおよび低フレームレート条件下において、従来のビームフォーミング手法に比べ、コントラストと解像度の両面で優れた画像品質を達成した。

Figure 2: General beamforming scheme.