[論文レビュー] Chaining Identity Mapping Modules for Image Denoising

Saeed Anwar, Cong Phouc Huynh+1 more|arXiv (Cornell University)|Dec 8, 2017

Image and Signal Denoising Methods参考文献 53被引用数 14

ひとこと要約

本論文は、残差学習とアイデンティティスキップ接続、拡張畳み込みを用いて勾配の流れと受容 field を維持する、完全畳み込み型の深層ネットワーク、Chain of Identity Mapping Modules (CIMM) を提案する。このモデルは、合成データ（BSD68）および実世界データ（DND）の両方で最先端の性能を達成し、従来の CNN や古典的手法（BM3D）を上回り、実世界の画像で 1.43 dB の PSNR 向上を達成するが、ノイズレベル推定は不要である。

ABSTRACT

We propose to learn a fully-convolutional network model that consists of a Chain of Identity Mapping Modules (CIMM) for image denoising. The CIMM structure possesses two distinctive features that are important for the noise removal task. Firstly, each residual unit employs identity mappings as the skip connections and receives pre-activated input in order to preserve the gradient magnitude propagated in both the forward and backward directions. Secondly, by utilizing dilated kernels for the convolution layers in the residual branch, in other words within an identity mapping module, each neuron in the last convolution layer can observe the full receptive field of the first layer. After being trained on the BSD400 dataset, the proposed network produces remarkably higher numerical accuracy and better visual image quality than the state-of-the-art when being evaluated on conventional benchmark images and the BSD68 dataset.

研究の動機と目的

• 合成および実世界のノイズあり画像に一般化できる深層学習ベースの画像ノイズ除去モデルの開発。
• ノイズレベル推定を必要とし、過剰に平滑化または過剰にコントラストを強調するアーチファクトを引き起こす既存の CNN の限界の解消。
• アイデンティティマッピングと事前活性化ユニットを用いて、深層ネットワーク内の勾配の流れと特徴の伝搬を改善。
• パrameter や計算コストを増加させることなく、拡張畳み込みを用いて各層の有効な受容 field を拡大。
• 事前・事後処理ステップに依存しないモジュラでエンドツーエンドのノイズ除去フレームワークの構築。

提案手法

• 26 個の学習可能な層を有する、5 モジュール・5 層の深層完全畳み込みネットワークで、アイデンティティスキップ接続を用いた残差ユニットを採用。
• 各残差ユニットは事前活性化バッチ正則化と ReLU を採用し、トレーニング中の安定した勾配の流れを確保。
• 受容 field の拡大を図るために、残差ブランチに拡張畳み込みを適用し、最終層の各ニューロンが入力画像全体の文脈を観察可能にする。
• BSD400 データセット上で、予測された画像と真値のクリア画像の間の平均二乗誤差損失を用いて、エンドツーエンドでネットワークをトレーニング。
• ノイズレベル入力なしで、合成（BSD68）および実世界（Darmstadt Noise Dataset）のベンチマークでモデルを評価。
• バッチ正則化を各層の後に配置しないようにアーキテクチャを設計し、代わりに事前活性化とアイデンティティマッピングを用いてトレーニングの安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティマッピングと拡張畳み込みを用いたモジュラで完全畳み込み型のネットワークは、合成および実世界の画像において、既存の CNN ベースおよび古典的手法を上回る性能を発揮できるか？
• RQ2 事前活性化とアイデンティティスキップ接続の使用は、深層ノイズ除去ネットワークのトレーニング安定性とテスト性能を向上させるか？
• RQ3 パrameter やノイズレベル情報の増加なしに、拡張畳み込みが有効な受容 field を効果的に拡大できるか？
• RQ4 DnCNN や BM3D と比較して、実世界のノイズあり画像における PSNR と視覚的品質の観点から、提案手法はどのように性能を発揮するか？
• RQ5 ノイズレベル推定や外部の事前知識を必要としないで、実世界のノイズに一般化できるか？

主な発見

• BSD68 の合成データセットでは、提案手法が 36.04 dB の PSNR を達成し、DnCNN（32.43 dB）と BM3D（34.61 dB）を上回り、このベンチマークで最先端の手法より 0.1 dB の向上を達成。
• 実世界の Darmstadt Noise Dataset（DND）では、PSNR が 36.04 dB、SSIM が 0.9136 に達し、WNNM（34.44 dB）や DenoiseNet（35.08 dB）を大きく上回る。
• DND データセットにおいて、BM3D よりも 1.43 dB の PSNR 向上を達成し、実世界のノイズに対して優れた性能を示しており、これは古典的手法では通常見られないことである。
• 視覚的に、提案手法はノイズを効果的に除去しつつ、細かな画像構造を保持しており、DnCNN や BM3D で見られる過剰な平滑化や過剰なコントラスト強調のアーチファクトを回避している。
• BM3D やその他の古典的アルゴリズムとは異なり、ノイズレベルの事前知識を必要としないため、実世界への展開においてより実用的である。
• アブレーションスタディにより、アイデンティティマッピング、事前活性化、拡張畳み込みの組み合わせが性能に不可欠であることが確認され、各要素が勾配の安定性と特徴の伝搬に寄与している。