[論文レビュー] Pushing the Limit of Unsupervised Learning for Ultrasound Image Artifact Removal

Shujaat Khan, Jaeyoung Huh+1 more|arXiv (Cornell University)|Jun 26, 2020

Image and Signal Denoising Methods参考文献 48被引用数 4

ひとこと要約

本稿では、最適輸送駆動型サイクルGAN（OT-cycleGAN）を用いた教師なし深層学習手法を提案し、ペairedデータが不要な高品質な超音波画像再構成を実現する。1つの普遍的で訓練されたモデルを用いて、スペーケルノイズ、ブロックアーティファクト、限られたサンプリング、および平面波から焦点合わせBモードへの変換といった複数のアーティファクトタイプに対して、教師あり手法に近い性能を達成しており、1枚あたり7.92 msの高速推論が可能である。

ABSTRACT

Ultrasound (US) imaging is a fast and non-invasive imaging modality which is widely used for real-time clinical imaging applications without concerning about radiation hazard. Unfortunately, it often suffers from poor visual quality from various origins, such as speckle noises, blurring, multi-line acquisition (MLA), limited RF channels, small number of view angles for the case of plane wave imaging, etc. Classical methods to deal with these problems include image-domain signal processing approaches using various adaptive filtering and model-based approaches. Recently, deep learning approaches have been successfully used for ultrasound imaging field. However, one of the limitations of these approaches is that paired high quality images for supervised training are difficult to obtain in many practical applications. In this paper, inspired by the recent theory of unsupervised learning using optimal transport driven cycleGAN (OT-cycleGAN), we investigate applicability of unsupervised deep learning for US artifact removal problems without matched reference data. Experimental results for various tasks such as deconvolution, speckle removal, limited data artifact removal, etc. confirmed that our unsupervised learning method provides comparable results to supervised learning for many practical applications.

研究の動機と目的

• 臨床現場における実際の状況では、高品質なペアデータが入手困難であるため、その欠如に対処する。
• 古典的手法やモデルベース手法には、計算コストが高く、モデルの一貫性に欠けるという限界があるため、それを克服する。
• 一致する参照データを必要としない、多様な超音波アーティファクト除去タスクに耐えうる、堅牢で一般化可能な教師なし深層学習フレームワークを開発する。
• 最適輸送理論を用いて、学習された画像強化が単なる視覚的装飾ではなく、実際の分布の改善を反映していることを検証する。
• 高価なリファレンススキャンが不可能な低コスト・ポータブル・高速イメージングシステムへの実用的導入を可能にする。

提案手法

• 最適輸送駆動型サイクルGAN（OT-cycleGAN）フレームワークを採用し、ノイズの多い画像分布から綺麗な画像分布へのマッピングを理論的根拠に基づいた教師なし学習メカニズムで実現する。
• 1つの取得モodal（例：平面波またはリサンプリングされたRF）からの低品質な超音波画像で1つの普遍的モデルを訓練し、異なる解剖的領域や画像条件からの高品質画像をターゲットドメインとして使用する。
• 最適輸送を用いたサイクル整合性損失を活用し、画像変換中に構造的・分布的整合性を保証し、アーティファクトの導入を最小限に抑える。
• 1回の訓練で、複数のタスク（デコンボリューション、スペーケルノイズ除去、限られたデータのアーティファクト抑制）を、加速要因（SLAから6-MLA）やリサンプリングレートの変動に対応して処理可能である。
• 効率的なネットワーク設計による最適化により、1枚あたりの平均再構成時間を7.92 msまで短縮し、リアルタイム応用に適した。
• 動物内データおよび組織模倣プローブを用いた一般化検証により、多様な画像条件下での構造的保存性と正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 OT-cycleGANを用いた教師なし深層学習は、ペアデータが不要な状態で、教師あり手法と同等のアーティファクト除去性能を達成できるか？
• RQ2 OT-cycleGANフレームワークは、画像品質の向上が単なる視覚的アーティファクトではなく、綺麗な画像への実際の分布シフトを反映していることを保証するか？
• RQ3 1つの普遍的で訓練されたモデルが、スペーケルノイズ、ブロックアーティファクト、限られたサンプリングといった複数の超音波アーティファクトタイプを、異なる画像プロトコルにわたり効果的に処理できるか？
• RQ4 加速要因やリサンプリングレートの変動に応じて、定量的指標（例：GCNR）および視覚的品質の観点で、この手法はどの程度の性能を示すか？
• RQ5 この手法は解剖学的可変性に頑健であり、誤った特徴を導入せずに微細構造を保持できるか？

主な発見

• 提案された教師なしOT-cycleGAN手法は、全MLA加速要因（SLAから6-MLA）において平均GCNR向上量0.1372を達成し、画像のコントラスト対ノイズ比が顕著に向上した。
• リサンプリングされたRFデータでは、1×リサンプリング条件下でCR（コントラスト対ノイズ比）が11.06 dBに達し、1×リサンプリングでの教師ありベースラインの9.80 dBに近づいた。
• 再訓練なしに、全テスト加速要因（SLAから6-MLA）で一貫した性能を維持したため、優れた一般化性と耐障害性を示した。
• 1枚あたりの再構成時間は平均7.92 msであり、心エコーなどの臨床現場でのリアルタイム応用に適していた。
• プローブ実験では、正確に構造的詳細を回復したが、高加速要因（例：6-MLA）ではわずかに性能が低下し、ブロックアーティファクトが顕著に残った。
• 視覚的および定量的結果から、強化処理が装飾的ではないことが確認された：本手法は、多様な画像条件下で組織構造を保持し、スペーケルノイズとブロックアーティファクトの両方を効果的に低減した。