[論文レビュー] Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

Yoonsik Kim, Jae Woong Soh+2 more|arXiv (Cornell University)|Feb 26, 2020

Image and Signal Denoising Methods参考文献 56被引用数 20

ひとこと要約

本稿では、合成ノイズデータを活用して適応的インスタンス正規化（AIN）を用いたノイズ除去器を訓練する転移学習フレームワークを提案する。これにより、実世界のノイズに強い汎化性能が得られる。少量の実ノイズデータでAINモジュールをファインチューニングすることで、Darmstadt Noise Dataset（DND）などの実世界ベンチマークで、従来手法でさえも上回る最先端の性能を達成する。

ABSTRACT

Real-noise denoising is a challenging task because the statistics of real-noise do not follow the normal distribution, and they are also spatially and temporally changing. In order to cope with various and complex real-noise, we propose a well-generalized denoising architecture and a transfer learning scheme. Specifically, we adopt an adaptive instance normalization to build a denoiser, which can regularize the feature map and prevent the network from overfitting to the training set. We also introduce a transfer learning scheme that transfers knowledge learned from synthetic-noise data to the real-noise denoiser. From the proposed transfer learning, the synthetic-noise denoiser can learn general features from various synthetic-noise data, and the real-noise denoiser can learn the real-noise characteristics from real data. From the experiments, we find that the proposed denoising method has great generalization ability, such that our network trained with synthetic-noise achieves the best performance for Darmstadt Noise Dataset (DND) among the methods from published papers. We can also see that the proposed transfer learning scheme robustly works for real-noise images through the learning with a very small number of labeled data.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）が合成ノイズ（SN）で学習されても、分布の不一致のため実世界ノイズ（RN）では失敗するという、SNとRNのドメインギャップを解消する。
• 合成ノイズ分布への過学習を回避するため、適応的インスタンス正規化（AIN）による正則化を導入し、汎化性能を向上させる。
• 少量の実ノイズペアでのファインチューニングのみで、SNで学習済みのノイズ除去器をRNに効率的に適応する転移学習スキームを開発する。
• 限られた実データでも、多様なカメラ機器やノイズ特性にわたって良好な汎化性能を示すことを実証する。
• DND や SIDD といった実世界のノイズ除去ベンチマークで、従来のフル実データで学習された手法を上回る最先端の性能を達成する。

提案手法

• 適応的インスタンス正規化（AIN）を用いて特徴マップを正則化し、合成ノイズへの過学習を防ぐノイズ除去ネットワークAINDNetを提案する。
• AINを用いて合成ノイズデータ上でAINDNet(S)を学習し、正規化パラメータを局所的なノイズレベルに応じて各空間位置で予測する。
• 少量の実ノイズ画像ペアを用いて、SNで学習済みネットワークのAINモジュールのみをファインチューニングする転移学習スキームを導入する。
• AINモジュールにノイズレベルマップを入力することで、局所的なノイズ特性に応じた空間的適応正規化を可能にする。
• 実データを用いて、AINレイヤーのアフィンパラメータのみを更新することで、主なネットワーク重みを保持する。
• 合成データおよび実データの両方でL1またはL2損失を用いてエンドツーエンドに学習し、実データはAINモジュールのファインチューニングにのみ使用する。

(a) Synthetic Data

実験結果

リサーチクエスチョン

• RQ1 合成ノイズで学習したノイズ除去器は、分布の違いがあるにもかかわらず、実世界ノイズに効果的に汎化可能か？
• RQ2 適応的インスタンス正規化（AIN）は、ネットワークの正則化および実ノイズへの汎化性能向上にどの程度効果的か？
• RQ3 合成ノイズから実ノイズへの転移学習は、大規模な実ノイズデータセットの必要性をどの程度低減できるか？
• RQ4 少数の実ノイズペア（数枚）しか利用できない状況で、提案手法の転移学習スキームはどの程度の性能向上をもたらすか？
• RQ5 AINモジュールのみをファインチューニングすることで、事前学習済みの合成ノイズ用ノイズ除去器の汎化能力を保持しつつ、実ノイズに適応できるか？

主な発見

• 合成ノイズデータのみで学習したAINDNet(S)は、DNDテストセットでPSNR 39.53 dBを達成し、従来の最先端手法を上回る性能を示した。
• SIDDからわずか32枚の実ノイズペアを用いて、転移学習版AINDNet+TFをファインチューニングしたところ、PSNRは38.75 dBに達し、全320枚の実データで学習したRIDNetを上回った。
• SIDDバリデーションセットでは、AINDNet+TFがPSNR 39.08 dBを達成し、同じ訓練データを用いた報告済み最高手法（AINDNet+RT：39.15 dB）を上回った。
• 1〜2枚の実画像のみでさえも、転移学習により顕著な性能向上が得られ、データ不足に対してもロバストであることが示された。
• アブレーションスタディにより、AIN-ResBlockアーキテクチャが、標準的なINとゲート付き残差ブロックを上回ることが確認され、特に実世界ノイズデータセットで顕著な優位性を示した。
• DND や SIDD などの多数の実世界ベンチマークで、多様なカメラ機器にわたる良好な汎化性能が実証された。

(b) Real Data