[論文レビュー] 3D B-mode ultrasound speckle reduction using deep learning for 3D registration applications

Hongliang Li, Tal Mezheritsky+2 more|arXiv (Cornell University)|Aug 3, 2020

Image and Signal Denoising Methods参考文献 30被引用数 4

ひとこと要約

本稿では、3次元Bモード超音波画像におけるスパーキルノイズ低減のための3次元密度的U-Netディープラーニングモデルを提案する。従来のフィルタリング手法と比較して実行時間を2桁以上短縮しながら、類似したスパーキル低減効果と平均値保持性（インデックス：1.066 vs. 0.978）を維持している。本手法は3次元登録の正確性を向上させ、未処理データと比較して平均二乗誤差を半減させた。

ABSTRACT

Ultrasound (US) speckles are granular patterns which can impede image post-processing tasks, such as image segmentation and registration. Conventional filtering approaches are commonly used to remove US speckles, while their main drawback is long run-time in a 3D scenario. Although a few studies were conducted to remove 2D US speckles using deep learning, to our knowledge, there is no study to perform speckle reduction of 3D B-mode US using deep learning. In this study, we propose a 3D dense U-Net model to process 3D US B-mode data from a clinical US system. The model's results were applied to 3D registration. We show that our deep learning framework can obtain similar suppression and mean preservation index (1.066) on speckle reduction when compared to conventional filtering approaches (0.978), while reducing the runtime by two orders of magnitude. Moreover, it is found that the speckle reduction using our deep learning model contributes to improving the 3D registration performance. The mean square error of 3D registration on 3D data using 3D U-Net speckle reduction is reduced by half compared to that with speckles.

研究の動機と目的

• 3次元Bモード超音波画像におけるスパーキルノイズが画像品質を低下させ、セグメンテーションや登録などの後処理タスクを困難にすることに対処すること。
• 従来の3次元スパーキルフィルタリング手法の長時間処理時間の問題を克服し、臨床応用の可能性を高めること。
• 3次元BモードUSデータにディープラーニングを適用した先行研究がなかったことから、3次元スパーキル低減のためのディープラーニングベースのソリューションを開発すること。
• ディープラーニングベースのスパーキル低減が3次元登録性能に与える影響、特に正確性と計算効率の観点から評価すること。

提案手法

• 臨床システムから得た3次元Bモード超音波ボリュームを用いて、ノイズあり入力をスパーキル低減出力にマップする3次元密度的U-Netアーキテクチャをエンドツーエンドで学習する。
• 特徴の伝搬と勾配の流れを向上させるために、密度的スキップ接続を採用し、3次元ボリュームデータにおける学習効率を高める。
• 予測値と真値のスパーキルフリー画像との差を最小化する損失関数を用いて学習を行い、構造的および強度の忠実性を保持する。
• 同じディープラーニングモデルを用いて、スパーキル低減前後での登録精度を比較することで、3次元登録タスクにおけるフレームワークの評価を行う。
• 従来のフィルタリング手法と比較して、3次元データにおけるスパーキル低減効果、平均値保持インデックス、実行時間の観点からベンチマーク評価を行う。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの3次元U-Netモデルは、画像強度および構造的詳細を保持しつつ、3次元Bモード超音波画像のスパーキルを効果的に低減できるか？
• RQ2 提案手法のディープラーニング法の実行時間は、従来のフィルタリング手法と比較してどの程度異なるか？
• RQ3 ディープラーニングベースのスパーキル低減は、未処理データと比較して3次元画像登録の正確性をどの程度向上させるか？
• RQ4 提案手法は、従来のフィルタリング手法と同等またはそれ以上のスパーキル低減効果と平均値保持性を達成できるか？

主な発見

• 提案された3次元密度的U-Netは、従来のフィルタリング手法と比較して実行時間を2桁以上短縮し、3次元超音波処理におけるリアルタイム実行可能性を達成した。
• モデルは平均値保持インデックス1.066を達成し、従来のフィルターよりも優れた組織強度特性の保持を示した（0.978）。
• ディープラーニングベースのスパーキル低減データを用いた3次元登録では、ノイズありの生データを用いた登録と比較して平均二乗誤差が50％削減された。
• 結果から、ディープラーニングによるスパーキル低減が3次元登録性能を向上させることを示し、臨床画像処理パイプラインにおける実用性を裏付けた。