[論文レビュー] Fully Convolutional Pixel Adaptive Image Denoiser

Sungmin Cha, Taesup Moon|arXiv (Cornell University)|Jul 19, 2018

Image and Signal Denoising Methods参考文献 38被引用数 4

ひとこと要約

本稿では、局所的な画像コンテンツに基づいてノイズ除去強度を適応的に調整するための、完全畳み込み型で画素別に適応可能な画像ノイズ除去ネットワーク（FC-AIDE）を提案する。スティーンの不偏リスク推定（SURE）を用いて真の平均二乗誤差（MSE）の不偏推定量を導出し、微分可能損失関数を実現することで、エンド・トゥ・エンドの学習が可能となり、複数のベンチマークデータセットで最先端の性能を達成し、ベースラインと比較して顕著なPSNR向上を実現した。

ABSTRACT

We propose a new image denoising algorithm, dubbed as Fully Convolutional Adaptive Image DEnoiser (FC-AIDE), that can learn from an offline supervised training set with a fully convolutional neural network as well as adaptively fine-tune the supervised model for each given noisy image. We significantly extend the framework of the recently proposed Neural AIDE, which formulates the denoiser to be context-based pixelwise mappings and utilizes the unbiased estimator of MSE for such denoisers. The two main contributions we make are; 1) implementing a novel fully convolutional architecture that boosts the base supervised model, and 2) introducing regularization methods for the adaptive fine-tuning such that a stronger and more robust adaptivity can be attained. As a result, FC-AIDE is shown to possess many desirable features; it outperforms the recent CNN-based state-of-the-art denoisers on all of the benchmark datasets we tested, and gets particularly strong for various challenging scenarios, e.g., with mismatched image/noise characteristics or with scarce supervised training data. The source code of our algorithm is available at https://github.com/csm9493/FC-AIDE-Keras.

研究の動機と目的

• 局所的な画像統計に基づいて画素ごとにノイズ除去強度を適応的に調整する完全畳み込み型で画素別に適応可能な画像ノイズ除去手法の開発。
• 固定されたノイズ除去強度を持つモデルの限界を克服するため、適応的なノイズ処理を可能にする学習可能な多項式係数の導入。
• SUREを用いた真のMSEの微分可能で不偏な推定量を用いることで、エンド・トゥ・エンドの学習を可能とし、一般化性能と性能の向上を実現。
• BSD68、Set12、Urban100、および医用画像を含む多様なデータセットにおいて、優れたノイズ除去性能を示すこと。

提案手法

• 本手法は、局所的な画像統計に基づいて、次数 d ∈ {1,2} の画素別多項式マッピングを用いる完全畳み込みニューラルネットワークを採用し、ノイズ除去強度を適応的に調整する。
• スティーンの不偏リスク推定（SURE）に基づく新しい損失関数を導入し、真のMSEの不偏推定量を、教師データが不要な形で提供する。
• 損失関数は微分可能であり、ジャコビアンのトレースを閉形式で推定することで、エンド・トゥ・エンドの学習が可能となる。
• モデルは2段階で訓練される：教師あり事前学習（FC-AIDE_S）の後、SUREに基づく損失を用いた適応的微調整（FC-AIDE_S+FT）を行う。
• 微調整段階では、頑健性と性能向上を目的として、自己アンサンブル型データ拡張を適用する。
• 各ノイズレベルに対して、別々の画像セットを用いた検証により、ℓ₂-スパース正則化（ℓ₂-SP）と早期停止のハイパーパrameterが選定される。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み型で画素別に適応可能なノイズ除去ネットワークは、空間的に変化するノイズ除去係数を学習することで、固定強度のノイズ除去器よりも優れた性能を達成できるか？
• RQ2 提案されたSUREに基づく損失関数は、エンド・トゥ・エンド学習中に真のMSEの不偏で効果的な代理関数を提供するか？
• RQ3 個々の多項式係数（a₀, a₁, a₂）はノイズ除去性能にどのように寄与するか？また、それらを削除した場合の影響は？
• RQ4 微調整段階において、データ拡張とハイパーパrameter選定の最適な戦略は何か？性能と頑健性を最大化するには？
• RQ5 SURE損失を用いた適応的微調整は、標準的なエンド・トゥ・エンド学習と比較して、PSNRと収束安定性の面で優れているか？

主な発見

• FC-AIDE_S+FTは、σ=25のBSD68で29.31 dBのPSNRを達成し、FC-AIDE_S（27.66 dB）およびアブレーションモデルFC-AIDE_S+FT(d=2, a₀-only)（19.20 dB）を著しく上回った。
• アブレーションスタディにより、a₁およびa₂係数が不可欠であることが確認された。それらを削除すると性能はノイズレベルに近づき（20.46 dB）、適応的ノイズ除去におけるその重要性が示された。
• 実験的に、SUREに基づく損失は不偏であることが示された。100回のノイズ実現におけるMSEと損失値の差のヒストограмは、ゼロ付近に集中しており、不偏性が裏付けられた。
• 自己アンサンブル型データ拡張を用いた適応的微調整は、拡張なしまたは訓練/テスト用拡張のみのケースと比較して、収束が早く、PSNRも高い。
• モデルは5エポック以内に最大のPSNR向上を達成し、安定した収束のため早期停止が可能であり、全微調整スキームがすべてのアブレーションバリアントを上回った。