[論文レビュー] Deep Learning in RF Sub-sampled B-mode Ultrasound Imaging.

Yeo Hun Yoon, Shujaat Khan+2 more|arXiv (Cornell University)|Dec 17, 2017

Ultrasound Imaging and Elastography参考文献 7被引用数 4

ひとこと要約

本論文は、RFデータを部分的にサンプリングした状態から、深層学習を用いてデータ駆動型の基底を学習する段階的畳み込みフレームレットネットワークにより、高品質なBモード超音波画像を再構築する手法を提案する。実用的な超音波システムを用いた検証により、画像品質を損なわず、アーチファクトを効果的に低減し、データレートを削減できることを示している。

ABSTRACT

In portable, three dimensional, and ultra-fast ultrasound (US) imaging systems, there is an increasing need to reconstruct high quality images from a limited number of RF data from receiver (Rx) or scan-line (SC) sub-sampling. However, due to the severe side lobe artifacts from RF sub-sampling, the standard beam-former often produces blurry images with less contrast that are not suitable for diagnostic purpose. To address this problem, some researchers have studied compressed sensing (CS) to exploit the sparsity of the image or RF data in some domains. However, the existing CS approaches require either hardware changes or computationally expensive algorithms. To overcome these limitations, here we propose a novel deep learning approach that directly interpolates the missing RF data by utilizing redundancy in the Rx-SC plane. In particular, the network design principle derives from a novel interpretation of the deep neural network as a cascaded convolution framelets that learns the data-driven bases for Hankel matrix decomposition. Our extensive experimental results from sub-sampled RF data from a real US system confirmed that the proposed method can effectively reduce the data rate without sacrificing the image quality.

研究の動機と目的

• ポータブル、3次元、超高速イメージングシステムにおけるRFデータの部分的サンプリングに起因する制限により、診断に有用なBモード超音波画像を生成する課題に対処すること。
• RFの部分的サンプリングに起因する側 lobes の深刻なアーチファクトとぼやけた、コントラストの低い画像を生じる従来のビームフォーミング法の限界を克服すること。
• ハードウェアの改造や計算コストの高い圧縮センシングアルゴリズムを必要とせず、データ駆動型の深層学習ソリューションを導入することで、その必要性を排除すること。
• 受信機（Rx）-スキャンライン（SC）平面における冗長性を活用し、信号のスパarsityに関する事前知識を必要とせずに、効果的かつ効率的に欠落したRFデータを補間すること。

提案手法

• RFデータのヘンケル行列分解のためのデータ駆動型基底学習を可能にする段階的畳み込みフレームレットとしての学習プロセスを解釈する深層ニューラルネットワークを設計する。
• RFサンプルの欠落を補間するために、Rx-SC平面に内在する冗長性を活用し、信号のスパarsityに関する事前知識を必要とせずに補間を実現する。
• 再構築誤差を最小限に抑えつつ、構造的特徴とコントラストを保持するように、エンドツーエンドでネットワークを学習し、部分的サンプリング入力からの高精細なRFデータ再構築を実現する。
• フレームレット変換を模倣する学習済み畳み込みフィルタの系列としてネットワークを定式化し、効率的かつ適応的な信号再構築を可能にする。
• 臨床的超音波システムから得た実際のRFデータに訓練済みネットワークを適用し、実際の条件下での性能を検証する。
• 診断に必要な画像品質を保証するため、構造的類似性とコントラストの保持に重点を置いた損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 部分的サンプリングされた超音波イメージングにおける欠落したRFデータを、画像品質を損なわず効果的に補間できるか、深層学習モデルはその能力を有しているか？
• RQ2 提案されたフレームレットベースのネットワークアーキテクチャは、従来のビームフォーミング法や圧縮センシング法と比較して、アーチファクト低減およびコントラスト保持の面でどのように優れているか？
• RQ3 提案手法は、診断に必要な画像品質を損なわず、どの程度までデータレートを低減できるか？
• RQ4 畳み込みフレームレットによるデータ駆動型の基底学習は、固定ドメインのスパarsityに基づくアプローチを上回る性能を示すか？
• RQ5 本手法は、さまざまな部分的サンプリングパターンや実世界の超音波システムに一般化可能か？

主な発見

• 提案手法は、部分的サンプリングRFデータに対する標準的ビームフォーミングと比較して、側 lobes のアーチファクトを顕著に低減し、画像コントラストを向上させた。
• ハードウェアの改造や反復的最適化を必要とせず、リアルタイム応用が可能な高品質な画像再構築を達成した。
• 実超音波データを用いた広範な実験により、高部分的サンプリング率下でも診断に適した画像品質を維持していることが確認された。
• 学習されたフレームレットベースの表現は、Rx-SC平面における冗長性を効果的に捉えており、欠落したRFサンプルの正確な補間を可能にした。
• 計算効率および再構築忠実度の面で、既存の圧縮センシング手法を上回った。
• 異なる部分的サンプリングパターンにわたり良好な一般化性能を示し、実用的イメージングシナリオにおけるロバスト性を確認した。