[論文レビュー] Towards CT-quality Ultrasound Imaging using Deep Learning

Sanketh Vedula, Ortal Senouf+3 more|arXiv (Cornell University)|Oct 17, 2017

Medical Imaging Techniques and Applications参考文献 8被引用数 32

ひとこと要約

本論文は、マルチリゾリューション畳み込みニューラルネットワーク（CNN）を用いた深層学習フレームワークを提案し、模擬的超音波RFデータからCT品質の高分解能・低ノイズ画像を再構成することで、CT品質の超音波画像を達成する。この手法は計算的に高負荷なデスペックリングアルゴリズムを約260倍高速化（CPU上）し、コントラストと分解能が向上したCTに類似した画像のエンドツーエンド再構成を可能にし、未知のデータに対して23.79 dBのPSNRを達成した。

ABSTRACT

The cost-effectiveness and practical harmlessness of ultrasound imaging have made it one of the most widespread tools for medical diagnosis. Unfortunately, the beam-forming based image formation produces granular speckle noise, blurring, shading and other artifacts. To overcome these effects, the ultimate goal would be to reconstruct the tissue acoustic properties by solving a full wave propagation inverse problem. In this work, we make a step towards this goal, using Multi-Resolution Convolutional Neural Networks (CNN). As a result, we are able to reconstruct CT-quality images from the reflected ultrasound radio-frequency(RF) data obtained by simulation from real CT scans of a human body. We also show that CNN is able to imitate existing computationally heavy despeckling methods, thereby saving orders of magnitude in computations and making them amenable to real-time applications.

研究の動機と目的

• 従来の超音波画像法の限界、例えばスペッカー・ノイズ、ぼやけ、低分解能といった問題が、正確な組織特性評価を妨えるため、それらを解決すること。
• NLM や BM3D といった高計算複雑度のデスペックリング手法の代替として、リアルタイムかつ計算的に効率的な手法を開発すること。
• 深層学習を用いて超音波RFデータからCT品質の画像を再構成する可能性を検討すること。
• ポータブルかつリアルタイムな超音波システムへの高度な画像修復技術の実用的導入を可能にすること。

提案手法

• マルチリゾリューションCNNアーキテクチャをエンドツーエンドで学習し、対数変換およびデコンボリューション処理を施した超音波RFデータに適用された最先端のデスペックリングアルゴリズム（NLM, BM3D, TV）の出力を近似する。
• ホモモーラルフィルタリングを用いて乗法的ノイズ（スペッカー）を加法的ノイズに変換し、その後アウリヤー縮小処理によりノイズ分布をガウス分布に近づける。
• ネットワークは13,860個の模擬的超音波-CT画像パッチで学習され、入力はIQデータ（2チャネル）で、正解は対応するCTパッチである。
• NVIDIA Titan X GPUを用いて160Kのミニバッチで学習が行われ、正解とのピixe単位の差分を最小化する損失関数が使用された。
• このフレームワークにより、リアルタイムのデスペックリングと、超音波データからの直接的CTに類似した画像再構成が可能になった。
• ネットワークは未知のCTデータセットに対しても良好に一般化しており、一貫したPSNR性能が確認された。

実験結果

リサーチクエスチョン

• RQ1 NLM や BM3D といった計算コストの高いデスペックリングアルゴリズムの出力を、深層CNNが高精度に近似可能であり、著しい高速化を達成できるか？
• RQ2 CNNを用いて模擬的RFデータからCT品質の超音波画像を再構成でき、分解能とコントラストが向上するか？
• RQ3 CNNベースの再構成は、過学習を伴わず、未知のCTデータセットに対しても一般化可能か？
• RQ4 スペッカー・ノイズやCTノイズといったモダリティ固有のアーチファクトを除去しながら、解剖学的および病理学的特徴を保持できるか？

主な発見

• CNNベースのデスペックリング手法は、GPU上では4倍の高速化、CPU上では8～260倍の高速化を達成し、NLM, BM3D, TVフィルタリングの従来実装と比較して高い忠実度を維持した。
• 元のデスペックリング出力との相対的PSNRは、BM3Dで34.40 dB、NLMで35.33 dB、TVで41.66 dBであり、近似の高精度を示した。
• CNNベースのCT品質画像再構成は、独立テストセットで23.79 dBのPSNRを達成し、トレーニングセットの性能と密接に一致しており、優れた一般化性能を示した。
• 視覚的および定量的評価の両方で、再構成されたCTに類似した画像が、従来のデスペックリング手法よりも正解CTに著しく近づいており、コントラストと構造的詳細が向上していた。
• ネットワークは、CTと超音波の間の共通する解剖学的マニフォールドを学習し、組織特徴を保持しながらモダリティ固有のノイズ（例：CT特有のノイズ）を抑制した。
• 結果から、CNNは超音波画像における複雑な逆問題ソルバーの実用的かつリアルタイムな代替手段として機能可能であり、低コストデバイス上でも高品質な再構成が可能であると示唆された。