[論文レビュー] Speckle2Speckle: Unsupervised Learning of Ultrasound Speckle Filtering Without Clean Data

Rüdiger Göbl, Christoph Hennersperger+1 more|arXiv (Cornell University)|Jul 31, 2022

Image Enhancement Techniques被引用数 9

ひとこと要約

本稿では、同じ解剖学的構造の複数のシミュレートされたスぺックル実現を活用することで、クリーンデータが不要な深層学習ベースの超音波スぺックルフィルタリング手法、Speckle2Speckleを提案する。合成超音波データ上でNoise2Noise風の自己教師あり学習を適用し、OBNLMなどの最先端のフィルタと同等の性能を達成するとともに、数個のオーダー高速化されており、GPU上でリアルタイム処理が可能である。

ABSTRACT

In ultrasound imaging the appearance of homogeneous regions of tissue is subject to speckle, which for certain applications can make the detection of tissue irregularities difficult. To cope with this, it is common practice to apply speckle reduction filters to the images. Most conventional filtering techniques are fairly hand-crafted and often need to be finely tuned to the present hardware, imaging scheme and application. Learning based techniques on the other hand suffer from the need for a target image for training (in case of fully supervised techniques) or require narrow, complex physics-based models of the speckle appearance that might not apply in all cases. With this work we propose a deep-learning based method for speckle removal without these limitations. To enable this, we make use of realistic ultrasound simulation techniques that allow for instantiation of several independent speckle realizations that represent the exact same tissue, thus allowing for the application of image reconstruction techniques that work with pairs of differently corrupted data. Compared to two other state-of-the-art approaches (non-local means and the Optimized Bayesian non-local means filter) our method performs favorably in qualitative comparisons and quantitative evaluation, despite being trained on simulations alone, and is several orders of magnitude faster.

研究の動機と目的

• クリーンな真値画像が入手できない状況において、深層学習ベースの超音波スぺックルフィルタを訓練する課題に対処すること。
• 手動でチューニングが必要で、計算コストの高い従来のスぺックルフィルタの限界を克服すること。
• シミュレートされたデータのみを用いて、リアルタイムで高精度なスぺックル低減を実現すること。
• 同じ解剖学的構造から得られる複数の独立したスぺックル実現を活用することで、医療画像における自己教師あり学習の可能性を検証すること。

提案手法

• 同一の組織幾何構造の複数の独立したスぺックル実現を生成するために、リアルな超音波シミュレーションを活用する。
• 同じシーンの2つの異なるノイズ（スぺックル）付きバージョンからクリーン画像を再構築する、Noise2Noise風の訓練パラダイムを適用する。
• 予測出力と2番目のスぺックル実現との間のL2損失を最小化するように、U-NetベースのCNNアーキテクチャを訓練する。
• シミュレーション幾何構造から導出されたインターフェースマップを活用し、フィルタリング中に構造的詳細の鋭さを保つようにガイドする。
• 平均画像や真値クリーンスキャンを必要とせず、完全にシミュレートデータでのみ学習を行う。
• 一般化性能と現実世界の変動へのロバストネスを向上させるために、マルチスケール損失とデータオーグメンテーションを採用する。

実験結果

リサーチクエスチョン

• RQ1 同じ解剖学的構造の複数の実現（異なるスぺックルパターン）のみを用いて、クリーンデータを一切用いずに、有効なスぺックル低減を学習できるか？
• RQ2 自己教師ありでシミュレーションで学習したフィルタの性能は、最先端の手作業によるフィルターや教師あり手法と比較して、画像品質および計算効率の面でどの程度か？
• RQ3 微調整なしで、シミュレートデータから実臨床超音波画像（in-vivo）への一般化はどの程度達成できるか？
• RQ4 追加の幾何的事前知識（例：インターフェースマップ）を導入することで、フィルタ出力における組織境界や構造的詳細の保持が向上するか？

主な発見

• 提案手法は、定性的および定量的評価の両方において、最適化済みのベイジアン非局所平均（OBNLM）フィルタと同等のスぺックル低減性能を達成した。
• 実験用フィントムデータでは、背景領域の標準偏差が1.61 × 10⁻²を記録し、SRAD、メディアン、バイリューアルフィルタを上回り、NLM（1.49 × 10⁻²）およびOBNLM（1.32 × 10⁻²）に近い性能を示した。
• 臨床用甲状腺画像（in-vivo）では、標準偏差が4.54 × 10⁻²を記録し、OBNLM（4.20 × 10⁻²）およびNLM（4.21 × 10⁻²）と同等の性能を示し、実データへの強い一般化能力を示した。
• 現代のGPU上で数十ミリ秒の処理時間で実行可能であり、NLM や OBNLM がCPUで数分を要するのと比べ、著しく高速であった。
• 学習に実データを一切使用していないにもかかわらず、組織界面などの構造的詳細の保持が良好であったが、筋肉層内の微細な線形構造の回復ではわずかに劣っていた。
• トレーニング時にインターフェースマップを組み込むことで、組織境界の保持が向上し、フィルタ出力の視覚的品質が向上した。