[論文レビュー] An unsupervised deep learning framework for medical image denoising

Swati Rai, Jignesh S. Bhatt+1 more|arXiv (Cornell University)|Mar 11, 2021

Image and Signal Denoising Methods参考文献 48被引用数 8

ひとこと要約

本論文では、2次元および3次元のMRI/CT画像のノイズ除去のための教師なし深層学習フレームワークを提案する。この手法は、パッチベースの辞書学習（K-SVD）と深層リジッドネットワークを組み合わせ、それぞれ間接的および直接的にノイズ特性を学習する。本手法は、クリーンな訓練データを必要とせず、画像のエッジや視覚的品質を保持するという点で最先端の性能を達成しており、合成データおよび実データの両方においてPSNR、SSIM、RMSEの指標で既存手法を上回っている。

ABSTRACT

Medical image acquisition is often intervented by unwanted noise that corrupts the information content. This paper introduces an unsupervised medical image denoising technique that learns noise characteristics from the available images and constructs denoised images. It comprises of two blocks of data processing, viz., patch-based dictionaries that indirectly learn the noise and residual learning (RL) that directly learns the noise. The model is generalized to account for both 2D and 3D images considering different medical imaging instruments. The images are considered one-by-one from the stack of MRI/CT images as well as the entire stack is considered, and decomposed into overlapping image/volume patches. These patches are given to the patch-based dictionary learning to learn noise characteristics via sparse representation while given to the RL part to directly learn the noise properties. K-singular value decomposition (K-SVD) algorithm for sparse representation is used for training patch-based dictionaries. On the other hand, residue in the patches is trained using the proposed deep residue network. Iterating on these two parts, an optimum noise characterization for each image/volume patch is captured and in turn it is subtracted from the available respective image/volume patch. The obtained denoised image/volume patches are finally assembled to a denoised image or 3D stack. We provide an analysis of the proposed approach with other approaches. Experiments on MRI/CT datasets are run on a GPU-based supercomputer and the comparative results show that the proposed algorithm preserves the critical information in the images as well as improves the visual quality of the images.

研究の動機と目的

• MRIおよびCTスキャンにおけるノイズ汚染の問題に取り組み、診断の正確性を損なう要因を解消すること。
• 微細な画像ディテールやエッジを保持しつつ、視覚的品質を向上させるノイズ除去手法を開発すること。
• クリーンな参照画像を訓練に必要としない教師なしアプローチを構築し、教師あり手法の限界を克服すること。
• 異なる画像モodalitiesにわたる2次元および3次元医療画像処理に一般化可能なフレームワークを構築すること。
• MRIで一般的に見られるリシアンノイズおよびCTで一般的に見られるポissonノイズの両方を処理できること。

提案手法

• 2次元／3次元のMRI／CTスキャンから抽出された重複する画像またはボリュームパッチを、辞書学習および残差学習の両コンponentの入力として使用する。
• パッチベースの辞書は、K特異値分解（K-SVD）を用いて学習され、スパース表現と間接的なノイズ特徴の特定を可能にする。
• 深層リジッドネットワークは、パッチからのノイズ残差を直接学習・予測するように訓練され、エンドツーエンドのノイズ除去を実現する。
• 2つのコンponentは交互に最適化される：学習済みの辞書と深層リジッドネットワークを用いて、パッチからのノイズを推定・差し引く。
• 重複領域の平均化を用いたパッチアセンブリ戦略により、復元されたパッチを元の画像または3次元ボリュームに再構成する。
• 本手法は教師なしで訓練され、ペairedなクリーン画像を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 教師なしの深層学習フレームワークは、クリーンな訓練データを必要とせずに、2次元および3次元のMRI／CT画像のノイズ除去を効果的に行えるか？
• RQ2 パッチベースの辞書学習と深層リジッド学習の組み合わせは、既存手法と比較して、画像のエッジや構造的ディテールをどの程度効果的に保持できるか？
• RQ3 提案手法は、ノイズ低減の程度をどの程度向上させつつ、視覚的品質およびPSNRやSSIMなどの定量的指標を維持または向上できるか？
• RQ4 本フレームワークは、MRIにおけるリシアンノイズとCTにおけるポissonノイズという異なるノイズタイプにどの程度一般化できるか？
• RQ5 辞書学習と残差学習の間で繰り返し最適化が行われることで、ノイズ特徴の特定精度がどの程度向上するか？

主な発見

• 提案手法は、合成および実CTデータの両方において、全テストノイズレベルで最高のPSNRおよびSSIM値を達成し、最先端手法を上回った。
• 提案手法のRMSEは、比較対象の全手法よりも一貫して低く、より優れたノイズ低減精度を示した。
• 合成CTデータ（Shepp-Logan）における視覚的結果では、CNN-RL、RED-CNN、BM3D、NLMと比較して、提案手法が画像境界をよりよく保持し、ノイズ低減効果が顕著であった。
• 実CTデータにおいては、TV、ADF、NLMと比較して、提案手法がエッジをより鋭く保持し、ぼやけを低減した。一方、TV、ADF、NLMはエッジ損失や過剰平滑化の問題を示した。
• 3次元ノイズ除去の実装は、2次元処理よりも真値に近い結果をもたらし、ボリュームモデルの利点を示した。
• 本フレームワークは、クリーンな参照画像を必要とせず、CTにおけるポissonノイズおよびMRIにおけるリシアンノイズの両方を効果的に低減した。これにより、教師なし性の有効性が裏付けられた。