[論文レビュー] Invertible Denoising Network: A Light Solution for Real Noise Removal

Yang Liu, Zhenyue Qin+5 more|arXiv (Cornell University)|Apr 21, 2021

Image and Signal Denoising Methods参考文献 52被引用数 10

ひとこと要約

本稿では、ノイズが含まれる入力から低解像度の綺麗な画像とノイズを含む潜在表現に分離する、可逆的なノイズ除去ネットワークであるInvDNを提案する。逆方向処理の際、ノイズを含む潜在コードを標準正規分布からのサンプリングで置き換えることで、SIDDデータセット上で最先端のノイズ除去性能を達成し、パラメータ数は4.2%に抑えられ、従来モデルより高速な推論が可能である。また、高精度なノイズ生成も可能である。

ABSTRACT

Invertible networks have various benefits for image denoising since they are lightweight, information-lossless, and memory-saving during back-propagation. However, applying invertible models to remove noise is challenging because the input is noisy, and the reversed output is clean, following two different distributions. We propose an invertible denoising network, InvDN, to address this challenge. InvDN transforms the noisy input into a low-resolution clean image and a latent representation containing noise. To discard noise and restore the clean image, InvDN replaces the noisy latent representation with another one sampled from a prior distribution during reversion. The denoising performance of InvDN is better than all the existing competitive models, achieving a new state-of-the-art result for the SIDD dataset while enjoying less run time. Moreover, the size of InvDN is far smaller, only having 4.2% of the number of parameters compared to the most recently proposed DANet. Further, via manipulating the noisy latent representation, InvDN is also able to generate noise more similar to the original one. Our code is available at: https://github.com/Yang-Liu1082/InvDN.git.

研究の動機と目的

• 入力（ノイズあり）と出力（綺麗な画像）が異なる分布に従う実世界の画像ノイズ除去に、可逆ネットワークを効果的に適用する課題に対処すること。
• 情報の保持を保証しつつ、潜在空間の操作によって効果的なノイズ除去を可能にする可逆アーキテクチャを設計すること。
• 最小限のパラメータ数と推論時間で優れたノイズ除去性能を達成し、エッジデプロイメントに適したモデルを実現すること。
• ノイズを含む潜在表現を変更することで、制御可能なノイズ生成を可能にし、現実的で多様な合成ノイズ画像を生成すること。

提案手法

• InvDNは、ノイズを含む入力を低解像度の綺麗な画像と、ノイズおよび高周波成分を符号化した高次元の潜在表現に写像する可逆なボトルネックを用いる。
• ノイズ除去の際、ノイズを含む潜在表現を標準正規分布からのサンプリングで置き換えることで、元の綺麗な画像を再構築する。
• 逆方向性を活用して、バックプロパゲーション中の情報保持とメモリ効率を確保する。
• 複数の潜在コードをサンプリングし、得られるノイズ除去出力を平均化することで、モンテカルロ自己アンサンブルを適用し、ロバストネスを向上させる。
• ノイズ生成のため、元のノイズを含む潜在コードを摂動させ、再び逆方向に処理することで、新たな現実的なノイズ画像を生成する。
• ネットワークは、SIDDデータセット上で再構成損失と、綺麗な潜在空間に対する事前分布に基づく正則化を用いて、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 入力（ノイズあり）と出力（綺麗な画像）の分布の不一致にもかかわらず、可逆ネットワークが実世界の画像ノイズ除去に効果的に適応可能か？
• RQ2 可逆アーキテクチャは、ノイズ除去とノイズ生成の両方を可能にするように、綺麗なコンテンツとノイズをどのように分離できるか？
• RQ3 軽量な可逆モデルが、顕著に少ないパラメータ数と高速な推論で最先端のノイズ除去性能を達成できるか？
• RQ4 可逆モデルの潜在空間をどれほど操作すれば、現実的で多様なノイズ画像を生成できるか？

主な発見

• InvDNはSIDDテストセットで32.48のPSNRという、DANet や VDN を含むすべての先行手法を上回る新たな最先端性能を達成した。
• 最近提案されたDANetと比較して、パラメータ数はわずか4.2%に抑えられ、エッジデプロイメントに極めて効率的である。
• 推論時間を顕著に短縮し、品質を損なわず、より高速なノイズ除去が可能になった。
• ノイズ生成において、実際のノイズとの類似度を示すAKLDが0.059にまで低下し、DANet（0.212）と比較して顕著に高い類似度を示した。
• モンテカルロ自己アンサンブルにより、SIDDバリデーション画像の83.35%で性能が向上した。
• 主成分分析（PCA）の可視化により、ノイズを含む潜在表現と綺麗な事前分布からのサンプルが、重複しない明確に分離された分布に従うことが確認された。