[論文レビュー] Image Reconstruction via Variational Network for Real-Time Hand-Held Sound-Speed Imaging

Valery Vishnevskiy, Sergio J. Sanabria+1 more|arXiv (Cornell University)|Jul 19, 2018

Ultrasound Imaging and Elastography参考文献 6被引用数 6

ひとこと要約

本稿では、限られた角度からの到着時間データを用いて、リアルタイムでハンドヘルド型超音波による音速画像化を実現するための変分ネットワーク（VN）を提案する。最適化に基づく再構成プロセスを、合成データで訓練された深層学習アーキテクチャにアンラールすることで、従来手法に比べ23%低い再構成誤差と27%高いコントラストを達成し、推論時間が約10 msにまで短縮され、超音波システムでのライブイメージングが可能になった。

ABSTRACT

Speed-of-sound is a biomechanical property for quantitative tissue differentiation, with great potential as a new ultrasound-based image modality. A conventional ultrasound array transducer can be used together with an acoustic mirror, or so-called reflector, to reconstruct sound-speed images from time-of-flight measurements to the reflector collected between transducer element pairs, which constitutes a challenging problem of limited-angle computed tomography. For this problem, we herein present a variational network based image reconstruction architecture that is based on optimization loop unrolling, and provide an efficient training protocol of this network architecture on fully synthetic inclusion data. Our results indicate that the learned model presents good generalization ability, being able to reconstruct images with significantly different statistics compared to the training set. Complex inclusion geometries were shown to be successfully reconstructed, also improving over the prior-art by 23% in reconstruction error and by 10% in contrast on synthetic data. In a phantom study, we demonstrated the detection of multiple inclusions that were not distinguishable by prior-art reconstruction, meanwhile improving the contrast by 27% for a stiff inclusion and by 219% for a soft inclusion. Our reconstruction algorithm takes approximately 10ms, enabling its use as a real-time imaging method on an ultrasound machine, for which we are demonstrating an example preliminary setup herein.

研究の動機と目的

• ポータブルでハンドヘルド型の超音波装置に適した、音速画像化のためのリアルタイムで深層学習に基づく再構成手法を開発すること。
• 従来の最適化手法が遅延収束とアーチファクトを引き起こす、限られた角度からのコンピュータ断層撮影における音速再構成の課題に対処すること。
• 合成データおよびプローブ・データの両方において、最先端のTVおよびMA-TV正則化手法を上回る、特にコントラストと正確性の向上を実現すること。
• 10 ms未満の再構成時間で実現することで、臨床用超音波装置への実用的導入を可能とすること。

提案手法

• 本手法は、反復的最適化アルゴリズム（TV正則化付きADMM）を、学習可能なエンドツーエンドの深層ニューラルネットワークにアンラールした変分ネットワーク（VN）アーキテクチャを用いる。このネットワークは4〜8層の構造を持つ。
• ネットワークは、多様な内包形状と統計的特性を持つ完全な合成データで訓練され、L1データ適合性とL1総変動正則化を組み合わせた損失関数が使用される。
• 前方モデルは、b = diag(m)Lx + N(0, σN I) として定義される。ここで、b は測定された逆到着時間、L はスパースな経路行列、m は欠落した送信受信ペア用のアンダーサンプリングマスクである。
• VNは各アンラールステップ内での学習可能なパラメータ（ステップサイズや正則化重み）を組み込み、最適な再構成ダイナミクスをネットワークが学習可能である。
• アーキテクチャは、異なる内包形状と音速コントラストを持つ200枚の訓練画像を含む大規模な合成データセットを用いて訓練される。
• 検証プロトコルでは、30%のアンダーサンプリングとノーマルノイズを伴う高分解能前方モデルを用い、ハイパーパrameterのチューニングと一般化性能の評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 限られた角度からの音速再構成において、トレーニング時に見なかった多様な内包形状と統計的特性に一般化できる深層変分ネットワークは構築可能か？
• RQ2 エンドツーエンドの学習による再構成プロセスは、TV や MA-TV のような従来の最適化ベース手法に比べ、正確性とコントラストの面で優れているか？
• RQ3 学習されたモデルは、1フレームあたり10 ms未満のリアルタイム性能を達成でき、ライブ超音波イメージングに適しているか？
• RQ4 複雑で現実的であるがゆえに臨床的関連性の高いプローブ・データに対して、本モデルは最先端の再構成手法を上回る性能を示すか？
• RQ5 臨床的関連シナリオにおいて、ネットワークはアーチファクトをどれほど低減し、病変の区別能を向上させるか？

主な発見

• 提案された VNv4 モデルは、合成データにおいて、従来の MA-TV に比べ23%低い再構成誤差と10%高いコントラストを達成し、視覚的忠実度と内包形状の保存性の面で顕著な向上を示した。
• 硬いおよび柔らかい病変を有する乳房プローブにおいて、VNv4 は硬い内包に対して27%、柔らかい内包に対して219%のコントラスト向上を達成し、従来手法が失敗した状況でも明確な区別が可能になった。
• VNv4 モデルは優れた一般化性能を示し、トレーニング分布外の複雑な内包形状や滑らかな変化の再構成に成功した。
• GPU上での再構成時間は約10 msにまで短縮され、ハンドヘルド型超音波装置におけるライブ動画フィードバックが可能になった。
• 定量的指標（SAD、コントラスト比）および定性的な評価の両面で、TV や MA-TV を上回り、特に密に配置されたか、コントラストが低い内包を解像する能力に優れた。
• 計算ベンチマークでは、VNの推論時間（GPU上0.01秒）がデータ転送時間やToF測定時間に比べて無視できるほど短く、リアルタイム導入に実用的であることが示された。