[論文レビュー] AdaIN-Switchable CycleGAN for Efficient Unsupervised Low-Dose CT Denoising

Jawook Gu, Jong Chul Ye|arXiv (Cornell University)|Aug 13, 2020

Medical Imaging Techniques and Applications参考文献 33被引用数 6

ひとこと要約

本稿では、1つのネットワーク内でノイズ低減とノイズ生成の切り替えが可能な適応的インスタンス正規化（AdaIN）を用いた、1生成器型の教師なし深層学習フレームワーク、AdaIN-Switchable CycleGANを提案する。別個の補助生成器を不要とすることで、パラメータ数を約50%削減し、学習安定性を向上させ、先行するCycleGAN手法よりも優れたPSNR（30.87 dB）とSSIM（0.6605）を達成した。

ABSTRACT

Recently, deep learning approaches have been extensively studied for low-dose CT denoising thanks to its superior performance despite the fast computational time. In particular, cycleGAN has been demonstrated as a powerful unsupervised learning scheme to improve the low-dose CT image quality without requiring matched high-dose reference data. Unfortunately, one of the main limitations of the cycleGAN approach is that it requires two deep neural network generators at the training phase, although only one of them is used at the inference phase. The secondary auxiliary generator is needed to enforce the cycle-consistency, but the additional memory requirement and increases of the learnable parameters are the main huddles for cycleGAN training. To address this issue, here we propose a novel cycleGAN architecture using a single switchable generator. In particular, a single generator is implemented using adaptive instance normalization (AdaIN) layers so that the baseline generator converting a low-dose CT image to a routine-dose CT image can be switched to a generator converting high-dose to low-dose by simply changing the AdaIN code. Thanks to the shared baseline network, the additional memory requirement and weight increases are minimized, and the training can be done more stably even with small training data. Experimental results show that the proposed method outperforms the previous cycleGAN approaches while using only about half the parameters.

研究の動機と目的

• 従来のCycleGANが推論時にもかかわらず2つの別個の生成器を必要としているため、メモリとパラメータのオーバーヘッドが大きい問題を解決すること。
• 限定的なデータセットを用いた低線量CTノイズ除去ネットワークの安定した学習を可能とするために、トレーニング可能なパラメータ数を最小限に抑えること。
• ペairedな高線量参照画像を必要とせずに、教師なし低線量CTノイズ除去における画像品質を向上させること。
• ウェーブレットドメイン処理とアイデンティティ損失の活用を検討し、解剖的構造の保持とアーチファクトの低減を図ること。

提案手法

• 適応的インスタンス正規化（AdaIN）層を用いた1つの生成器を実装し、AdaINコードを変更することで、低線量CTから高線量CTへの変換と逆方向の変換を1つのネットワーク内で切り替え可能にする。
• AdaINコードは、本体の画像生成器よりも大幅にパラメータ数が少ない軽量なコード生成ネットワークによって生成される。
• 画像翻訳の現実性と特徴の保存を保証するため、 adversarial loss、サイクル整合性損失、アイデンティティ損失を用いてネットワークを学習する。
• ウェーブレット変換を用いて低線量CT画像を低周波数帯と高周波数帯に分解し、ネットワークが高周波成分におけるノイズパターンの学習に集中できるようにする。
• アイデンティティ損失は、入力がすでにターゲットドメインにある場合に、入力と再構築画像の差を最小化することで、構造的詳細の保存を図る。
• 単一の生成器と共有されたバックボーン重みを用いることで、従来のCycleGANと比較して総パラメータ数を著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 1つの生成器にAdaINスイッチングを適用することで、低線量CTノイズ除去において2つの別個の生成器を代替できるか？性能は維持されるか？
• RQ2 共有生成器アーキテクチャによるパラメータ数の削減は、特に限定的な学習データ下でも学習安定性を向上させるか？
• RQ3 画像ドメイン処理と比較して、ウェーブレットドメイン処理は、低線量CTノイズ除去における画像品質の保持とアーチファクト低減にどのように寄与するか？
• RQ4 アイデンティティ損失とウェーブレット残差学習の、再構築画像における人工的特徴の抑制への寄与は何か？

主な発見

• 提案手法はPSNR 30.87 dB、SSIM 0.6605を達成し、WavCycleGAN（PSNR: 30.40 dB、SSIM: 0.6279）を上回る性能を示した。
• 総パラメータ数は618万で、WavCycleGAN（1182万）の約半分であるにもかかわらず、同等または優れた性能を達成した。
• 訓練データを10%に制限した場合、本手法のPSNRは30.87 dBから30.39 dBに低下したが、WavCycleGANは28.98 dBまで低下した。
• アブレーションスタディの結果、ウェーブレット残差学習とアイデンティティ損失の両方が不可欠であることが確認された。いずれかを除去すると、差分画像に顕著なアーチファクトとエッジ歪みが生じた。
• AdaINを用いることで、追加パラメータを最小限に抑えつつ効果的な生成器スイッチングが可能となり、学習効率と安定性が著しく向上した。
• 再構築画像における解剖的構造の保持が、ベースライン手法よりも優れており、強度変動が低減され、エッジが明瞭に保たれた。