[論文レビュー] Adaptive Denoising via GainTuning

Sreyas Mohan, Joshua Vincent+4 more|arXiv (Cornell University)|Jul 27, 2021

Image and Signal Denoising Methods参考文献 81被引用数 10

ひとこと要約

本稿では、各畳み込み層の各チャネルに対して1つの乗法的ゲインパラメータを最適化することで、事前学習済み畳み込みニューラルネットワーク（CNN）を画像ノイズ除去に適応させる手法であるGainTuningを提案する。テスト画像ごとに、自己教師学習的なノイズ除去目的関数を用いてこれらのゲインを部分的にチューニングすることで、標準ベンチマークにおいて最先端の性能を向上させるとともに、分布外データ、特に低SNRの走査型電子顕微鏡画像において顕著な一般化性能を発揮し、従来手法が見逃していた原子スケールの構造を回復できる。

ABSTRACT

Deep convolutional neural networks (CNNs) for image denoising are usually trained on large datasets. These models achieve the current state of the art, but they have difficulties generalizing when applied to data that deviate from the training distribution. Recent work has shown that it is possible to train denoisers on a single noisy image. These models adapt to the features of the test image, but their performance is limited by the small amount of information used to train them. Here we propose "GainTuning", in which CNN models pre-trained on large datasets are adaptively and selectively adjusted for individual test images. To avoid overfitting, GainTuning optimizes a single multiplicative scaling parameter (the "Gain") of each channel in the convolutional layers of the CNN. We show that GainTuning improves state-of-the-art CNNs on standard image-denoising benchmarks, boosting their denoising performance on nearly every image in a held-out test set. These adaptive improvements are even more substantial for test images differing systematically from the training data, either in noise level or image type. We illustrate the potential of adaptive denoising in a scientific application, in which a CNN is trained on synthetic data, and tested on real transmission-electron-microscope images. In contrast to the existing methodology, GainTuning is able to faithfully reconstruct the structure of catalytic nanoparticles from these data at extremely low signal-to-noise ratios.

研究の動機と目的

• 訓練分布とは異なるテスト画像に適用した際の、事前学習済みCNNノイズ除去器の一般化性能の低さを是正すること。
• 標準的なCNNが失敗する、現実世界の低信号対雑音比（SNR）の画像における性能向上。
• 大規模な事前学習の利点とテスト固有の最適化を組み合わせる、軽量で過学習を回避する適応手法の開発。
• 全ネットワークの微調整を避け、過学習を回避しながら一般化性能を維持する効果的な適応を可能にすること。

提案手法

• GainTuningは、ネットワークのすべての重みを最適化する代わりに、各畳み込み層のチャネルごとに1つの乗法的ゲインパラメータを最適化することで、事前学習済みCNNを適応化する。
• ゲインパラメータは、テスト画像自体を用いた自己教師学習的なノイズ除去目的関数に基づき、再構成誤差を最小化するように更新される。
• CNNをアフィン関数としてモデル化するための一階テイラー近似を用い、バイアスおよび適応効果の分析を可能にする。
• 計算効率が高く、全パラメータの約0.1%しか使用しないため、過学習のリスクが低減される。
• アーキテクチャに依存せず、任意の事前学習済みCNNノイズ除去器に適用可能である。
• 一般化性能は、類似画像に対して適応モデルをテストすることで評価され、関連する画像タイプやノイズ統計にわたる転送性を示している。

実験結果

リサーチクエスチョン

• RQ1 過学習を回避しつつ、1つのテスト画像に事前学習済みCNNを効果的に適応させることは可能か？
• RQ2 GainTuningは、訓練分布外の画像において、どのようにノイズ除去性能を向上させるか？
• RQ3 GainTuningは、類似した構造やノイズ特性を有する他の画像へどの程度一般化できるか？
• RQ4 ゲインチューニングは、CNNのネットバイアスをどのように低減させ、訓練範囲外のノイズレベルに対しても一般化を可能にするか？
• RQ5 GainTuningは、低SNRの電子顕微鏡画像における現実の科学的画像データにおいて、原子スケールの微細構造を回復できるか？

主な発見

• ホールドアウトテストセットのほぼすべての画像で、GainTuningはノイズ除去性能を向上させ、特に分布外画像では顕著な向上を示す。
• PSNRが約3 dBの走査型電子顕微鏡画像において、GainTuningは、標準的な事前学習済みモデルおよびテスト画像専用に訓練したモデルが再構成に失敗した原子構造を成功裏に回復した。
• 制御されたノイズレベル変動実験を通じて、GainTuningがCNNのネットバイアスを低減させ、訓練範囲外のノイズレベルに対しても一般化を可能にすることが実証された。
• 繰り返しパターンや大規模な一定強度領域を有する画像は適応により最も恩恵を受けるが、不均一な画像では改善が小さい。
• スキャンドキュメントやノイズの強い画像に対する適応は、他の類似画像へも効果的に転送可能であり、高い転送性を示している。
• GainTuning後の等価線形フィルタは、大規模領域での平均化が減少しており、元の事前学習済みモデルが過剰に平滑化していた微細なディテールを保持している。