[論文レビュー] ImplicitVol: Sensorless 3D Ultrasound Reconstruction with Deep Implicit Representation

Pak-Hei Yeung, Linde S. Hesse+5 more|arXiv (Cornell University)|Sep 24, 2021

Medical Image Segmentation Techniques被引用数 12

ひとこと要約

ImplicitVolは、3次元座標を強度値にマッピングする連続関数として3次元ボリュームを暗黙的にモデル化する、センサーレスな3次元超音波再構成手法を提案する。このフレームワークは、2次元スキャンの3次元位置推定と3次元ボリューム再構成を同時に最適化し、新規の断面視野においてベースラインよりNCCおよびSSIMで30%以上の向上を達成した。

ABSTRACT

The objective of this work is to achieve sensorless reconstruction of a 3D volume from a set of 2D freehand ultrasound images with deep implicit representation. In contrast to the conventional way that represents a 3D volume as a discrete voxel grid, we do so by parameterizing it as the zero level-set of a continuous function, i.e. implicitly representing the 3D volume as a mapping from the spatial coordinates to the corresponding intensity values. Our proposed model, termed as ImplicitVol, takes a set of 2D scans and their estimated locations in 3D as input, jointly refining the estimated 3D locations and learning a full reconstruction of the 3D volume. When testing on real 2D ultrasound images, novel cross-sectional views that are sampled from ImplicitVol show significantly better visual quality than those sampled from existing reconstruction approaches, outperforming them by over 30% (NCC and SSIM), between the output and ground-truth on the 3D volume testing data. The code will be made publicly available.

研究の動機と目的

• 外部トラッキングセンサに依存せずに、スパarselyな自由な2次元スキャンから高品質な3次元超音波ボリュームを再構成する課題に対処すること。
• 離散グリッド補間による誤差累積および低解像度といった、従来のボクセルベース再構成の限界を克服すること。
• 3次元ボリュームを連続関数として暗黙的に表現する深層ニューラルネットワークを用いて、2次元スキャンの局所化と3次元ボリューム再構成を同時に最適化すること。
• 特にサンプリングが不足している領域や運動アーチファクトが生じる領域において、既存手法と比較して視覚的品質および構造的類似性を向上させること。
• 2次元プローブしか利用できないが、3次元診断情報が有益である低リソース環境における実用的3次元超音波評価を可能にすること。

提案手法

• 3次元ボリュームは、連続関数 $ F_{\Theta}(\mathbf{x}) $ のゼロレベルセットとして暗黙的に表現され、ここで $ \mathbf{x} = (x, y, z) $ は3次元空間座標を表し、$ F_{\Theta} $ はパrameter $ \Theta $ で定義される深層ニューラルネットワークである。
• モデルは2次元超音波スキャンとその推定された3次元位置を入力とし、トレーニング中に3次元位置推定と暗黙的ボリューム表現の両方を同時に最適化する。
• レンダリングされた2次元スライスを真値の2次元スキャンと比較する微分可能レンダリング損失を用いてトレーニングすることで、エンドツーエンド最適化が可能になる。
• 暗黙的表現の連続性を活用して、ボクセルグリッド離散化を回避し、高解像度かつ解像度に依存しない再構成を実現する。
• フレームワークは完全にエンドツーエンドで、センサーレスにトレーニングおよびテストされる—推論時には真値の3次元スキャン位置が不要である。
• 微分可能なボリュームレンダリングモジュールは、入力の2次元スキャンの推定された3次元位置から、暗黙的3次元ボリュームから2次元プロジェクションをサンプリングし、監視に用いる。

実験結果

リサーチクエスチョン

• RQ1 外部トラッキングセンサを必要とせずに、深層暗黙表現が3次元ボリューム再構成と2次元から3次元へのスキャン局所化を同時に改善できるか？
• RQ2 3次元超音波再構成において、暗黙的表現は明示的ボクセルベース手法と比較して、視覚的品質および構造的類似性で優れているか？
• RQ3 局所化と再構成の共同最適化が、自由な2次元超音波スキャンにおける誤差累積をどれほど低減し、ロバストネスを向上させるか？
• RQ4 暗黙的モデルは、運動アーチファクトや不規則なサンプリングパターンを有するネイティブな自由な2次元スキャンに一般化可能か？
• RQ5 トレーニングスキャンの数を増やすことで、暗黙的再構成フレームワークの性能が向上するか？

主な発見

• ImplicitVolは、ボリュームサンプリングされた2次元超音波データにおいて、新規の断面視野でベースライン手法と比較してNCCおよびSSIMの両方で30%以上の向上を達成した。
• 3次元位置推定とボリューム再構成の共同最適化により顕著な性能向上が得られ、128解像度においてNCCは、局所化の refinemenet なしの0.591から、refinement ありの0.719に上昇した。
• 256枚のトレーニングスキャンを用いた場合、ImplicitVolはNCC 0.747およびSSIM 0.569を達成し、ボリュームサンプリングデータにおいてすべてのベースラインを上回った。
• ネイティブな自由な2次元超音波スキャンにおいて、ImplicitVolは運動アーチファクトが生じる領域（赤枠）で優れた視覚的品質を示し、サンプリングが不足している領域（黄枠）の処理においてもベースラインを上回った。
• 不正確な初期3次元位置推定に対してもモデルはロバストであり、追加の監視なしに、共同リファインメントプロセスによって局所化精度が顕著に向上した。
• 解像度を128から256に引き上げるとともに共同最適化を有効化したことで、局所化誤差が25%削減され（8.34 ± 5.32 mm から 6.32 ± 4.61 mm に）、性能が向上した。