[論文レビュー] Adversarial Distortion Learning for Medical Image Denoising

Morteza Ghahremani, Mohammad Khateri+2 more|arXiv (Cornell University)|Apr 29, 2022

Image and Signal Denoising Methods被引用数 10

ひとこと要約

本稿では、2次元／3次元医療画像のノイズ除去のための新しい深層学習フレームワーク、敵対的歪み学習（ADL）を提案する。この手法は、軽量なEfficient-Unetアーキテクチャを用い、ノイズ除去器と識別器を敵対的に学習する二重自己符号化器構造を採用する。本手法は、再訓練を必要とせず、MRI、皮膚鏡画像、電子顕微鏡、X線など多様なバイオメディカルデータセットで最先端の性能を達成しており、新しいデータタイプに対しても一般化可能である。また、新規のピラミッド型およびヒストグラムベースの損失関数により、高速かつ高品質なノイズ除去が可能であり、テクスチャやコントラストの保持も図っている。

ABSTRACT

We present a novel adversarial distortion learning (ADL) for denoising two- and three-dimensional (2D/3D) biomedical image data. The proposed ADL consists of two auto-encoders: a denoiser and a discriminator. The denoiser removes noise from input data and the discriminator compares the denoised result to its noise-free counterpart. This process is repeated until the discriminator cannot differentiate the denoised data from the reference. Both the denoiser and the discriminator are built upon a proposed auto-encoder called Efficient-Unet. Efficient-Unet has a light architecture that uses the residual blocks and a novel pyramidal approach in the backbone to efficiently extract and re-use feature maps. During training, the textural information and contrast are controlled by two novel loss functions. The architecture of Efficient-Unet allows generalizing the proposed method to any sort of biomedical data. The 2D version of our network was trained on ImageNet and tested on biomedical datasets whose distribution is completely different from ImageNet; so, there is no need for re-training. Experimental results carried out on magnetic resonance imaging (MRI), dermatoscopy, electron microscopy and X-ray datasets show that the proposed method achieved the best on each benchmark. Our implementation and pre-trained models are available at https://github.com/mogvision/ADL.

研究の動機と目的

• 既存のノイズ除去手法がバイオメディカル画像におけるテクスチャやコントラストの保持に課す制限を克服すること。
• 新しいバイオメディカル画像タイプに対し再訓練を必要としない一般化可能なノイズ除去モデルの開発。
• 2次元および3次元医療画像において、高品質なノイズ除去を維持しつつ、計算負荷を低減すること。
• 入力データのノイズ分布に関する事前知識を不要とする。
• 深層ネットワークにおける消失勾配問題を緩和することで、学習の安定性と収束性を向上させること。

提案手法

• フレームワークは、ノイズ除去器と識別器を備えた生成的敵対的ネットワーク（GAN）構造を採用し、両者ともに提案されたEfficient-Unetアーキテクチャに基づく。
• Efficient-Unetはピラミッド型の残差バックボーンを用い、スケール間で特徴の整合性を段階的に強制することで、特徴の再利用性と表現力を向上させる。
• 「アルゴリーム・ア・トゥール」（ATW）に基づく新規のピラミッド型損失関数を導入し、テクスチャの保持と非テクスチャ領域におけるノイズ増幅の抑制を実現する。
• 参照画像（真値）の外観とコントラストを、ノイズ除去出力で維持するため、ヒストグラムベースの損失関数を提案する。
• コンテンツ強化ブロックをエンコーダーに統合し、特に低ノイズレベルで学習の安定性を高め、収束を加速する。
• ペアドノイズ画像とクリア画像を用いた教師あり学習によりモデルを訓練し、識別器は本物のクリア画像とノイズ除去出力を区別する。

実験結果

リサーチクエスチョン

• RQ1 標準的な損失関数と比較して、敵対的学習スキームは医療画像ノイズ除去におけるテクスチャおよびコントラストの保持をどのように改善するか？
• RQ2 Efficient-Unetのような軽量で一般化可能なネットワークは、ドメイン固有の微調整なしに、多様なバイオメディカル画像ドメインでどの程度の性能を発揮できるか？
• RQ3 提案されたピラミッド型損失関数は、ノイズ抑制と同時にマルチスケールのテクスチャ特徴をどの程度効果的に保持できるか？
• RQ4 ヒストグラムベースの損失関数は、ノイズ除去画像の視覚的忠実性と外観の一貫性を顕著に向上させるか？
• RQ5 コンテンツ強化ブロックは、低ノイズ領域における消失勾配を効果的に緩和し、学習収束を改善できるか？

主な発見

• ADLは、MRI、皮膚鏡画像、電子顕微鏡、X線データセットを含む全テストベンチマークで最先端の性能を達成し、PSNRおよび構造的類似性の両面で既存手法を上回った。
• ImageNetで事前学習された2次元バージョンのADLは、分布に重複のないバイオメディカルデータセットに対しても、顕著なゼロショット転送性を示した。
• 2次元データではパラメータ数が475万、3次元では1480万で、それぞれ2.1 GFLOPsおよび121 GFLOPsの計算コストであり、SwinIRやBM4Dと比較して顕著に計算コストを削減した。
• アブレーションスタディの結果、ピラミッド型損失関数がPSNRを顕著に向上させたほか、ヒストグラム損失を追加することで、画像品質と知覚的忠実性がさらに向上した。
• コンテンツ強化ブロックは、低ノイズレベル（σ < 10）において、ノイズ除去出力と強く相関しており、学習の安定化と収束性向上に寄与していることが確認された。
• 2次元データでは143ms、3次元MRIデータでは14.6秒の実行時間にまで短縮され、BM4D（597.6秒）およびSwinIR（539ms）を上回り、リアルタイム応用に適した性能を示した。