[論文レビュー] FINO: Flow-based Joint Image and Noise Model

Lanqing Guo, Siyu Huang+2 more|arXiv (Cornell University)|Nov 11, 2021

Image and Signal Denoising Methods参考文献 29被引用数 4

ひとこと要約

FINOは、逆可逆な正規化フローを用いて潜在空間で継続的画像とノイズを明示的に分離することで、画像とノイズの分布を同時に学習するフローに基づく生成モデルを提案する。ノイズ相関制約と変数交換による構造的整合性を組み込むことで、合成および実世界のノイズ除去ベンチマークで最先端の性能を達成し、空間的に変化するノイズや正確に推定されないノイズに対しても優れた一般化性能を示す。

ABSTRACT

One of the fundamental challenges in image restoration is denoising, where the objective is to estimate the clean image from its noisy measurements. To tackle such an ill-posed inverse problem, the existing denoising approaches generally focus on exploiting effective natural image priors. The utilization and analysis of the noise model are often ignored, although the noise model can provide complementary information to the denoising algorithms. In this paper, we propose a novel Flow-based joint Image and NOise model (FINO) that distinctly decouples the image and noise in the latent space and losslessly reconstructs them via a series of invertible transformations. We further present a variable swapping strategy to align structural information in images and a noise correlation matrix to constrain the noise based on spatially minimized correlation information. Experimental results demonstrate FINO's capacity to remove both synthetic additive white Gaussian noise (AWGN) and real noise. Furthermore, the generalization of FINO to the removal of spatially variant noise and noise with inaccurate estimation surpasses that of the popular and state-of-the-art methods by large margins.

研究の動機と目的

• 既存のノイズ除去手法が画像の事前知識にのみ焦点を当て、明示的なノイズモデリングを無視するという限界を是正すること。
• 画像とノイズの分布を統合的にモデリングする統一フレームワークを構築し、両者の補完的情報を活用すること。
• 可逆変換を用いて潜在空間で画像とノイズ成分を効果的に分離すること。
• ノイズ相関制約と構造的整合性を組み込むことで、実世界のノイズおよび非一様ノイズに対する一般化性能を向上させること。
• 外部のノイズ推定を必要とせず、盲目的なノイズ除去を可能にすることで実用的応用性を高めること。

提案手法

• ノイズのある画像と、画像とノイズ成分が分離された潜在空間との間で損失なしの双方向変換を実現する、フローに基づく可逆ニューラルネットワークを採用する。
• 再構築画像と真値の間の構造的コンテンツを整えるために、変数交換戦略を導入し、特徴レベルの整合性を向上させる。
• 隣接領域間で空間的に独立したノイズを強制するノイズ相関行列制約を適用し、ノイズを相関のないものとしてモデリングする。
• 再構築損失（画像およびノイズ用）、コンテンツ損失（構造的整合性用）、ノイズモデリング損失（分布的一致性用）を含むマルチコンポonent損失を用いてモデルを訓練する。
• 画像事前知識学習とノイズ分布モデリングを同時に最適化する一括エンドツーエンドフレームワーク内で、学習プロセスを分離する。
• 堅牢な統合モデリングにより、明示的なノイズレベル推定の必要性を排除することで、盲目的なノイズ除去を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像事前知識に依存するのではなく、画像とノイズ分布の明示的統合モデリングが、ノイズ除去性能の向上に寄与するか？
• RQ2 可逆フローを用いた潜在空間における画像とノイズ成分の分離は、構造的忠実性を保ちながらどれほど効果的か？
• RQ3 空間的に相関のないノイズモデリングを強制することで、実世界のノイズおよび非一様ノイズに対するロバストネスはどの程度向上するか？
• RQ4 提案された変数交換戦略は、さまざまなノイズレベルにおいて構造的整合性と一般化性能を向上させるか？
• RQ5 FINOは、ノイズレベル推定や外部ノイズモデリングを必要とせずに、実世界のノイズに適応して効果的に一般化できるか？

主な発見

• 実世界のSIDDデータセットにおいて、FINOはPSNR 39.40、SSIM 0.957を達成し、InvDN（39.28/0.955）やAINDNet（39.08/0.955）といった最先端手法を上回る性能を示した。
• σ=25の合成AWGNにおいて、FINOはPSNR 31.82を達成し、σ=20, 25, 30のさまざまなノイズレベルにおいても優れた性能と一般化性能を示した。
• アブレーションスタディの結果、コンテンツ整合性損失または再構築損失を除去すると、特に高ノイズレベルで性能が著しく低下することが確認された。
• 可視化結果から、再構築されたノイズが真値とよく一致しており、有効なノイズ分離とモデリングが実現されていることが確認された。
• 空間的に変化するノイズや正確に推定されないノイズに対しても、FINOは固定ノイズ仮定に依存する手法よりも優れた一般化性能を示した。
• パラメータ数がたった396万個（3.96M）で、AINDNet（1376万）やVDN（781万）に比べてはるかに小型でありながら、優れた性能を達成した。