[論文レビュー] Learn from Unpaired Data for Image Restoration: A Variational Bayes Approach

Dihan Zheng, Xiaowen Zhang+2 more|arXiv (Cornell University)|Apr 21, 2022

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、一対でない綺麗な画像と汚れた画像から、共有の潜在表現を通じて綺麗な画像とノイジーな画像を条件付き独立にモデル化することにより、一対でないデータから画像修復分布を学習する変分ベイズ手法LUD-VAEを提案する。この手法により、一対でないデータから合成された一対のデータを用いて、教師ありの画像修復モデルを効果的に訓練でき、ノイズ除去、スーパーレゾリューション、低照度強化の分野で、一対の教師データを必要とせずに最先端の性能を達成する。

ABSTRACT

Collecting paired training data is difficult in practice, but the unpaired samples broadly exist. Current approaches aim at generating synthesized training data from unpaired samples by exploring the relationship between the corrupted and clean data. This work proposes LUD-VAE, a deep generative method to learn the joint probability density function from data sampled from marginal distributions. Our approach is based on a carefully designed probabilistic graphical model in which the clean and corrupted data domains are conditionally independent. Using variational inference, we maximize the evidence lower bound (ELBO) to estimate the joint probability density function. Furthermore, we show that the ELBO is computable without paired samples under the inference invariant assumption. This property provides the mathematical rationale of our approach in the unpaired setting. Finally, we apply our method to real-world image denoising, super-resolution, and low-light image enhancement tasks and train the models using the synthetic data generated by the LUD-VAE. Experimental results validate the advantages of our method over other approaches.

研究の動機と目的

• 実世界の画像修復において、一対の綺麗な画像と汚れた画像を収集することが高コストで非現実的であるため、一対の学習データが限られているという課題に対処すること。
• 一対でない周辺分布から、綺麗な画像と汚れた画像の同時分布を学習する深層生成モデルを開発すること。
• サイクル整合性のようなヒューリスティックな制約を回避する、理論的に裏付けられた一対でない画像修復手法を確立すること。
• 確率的グラフィカルモデルと推論不変性を用いて、一対でないデータから合成された一対のデータを用いて、画像修復モデルの有効な訓練を可能にすること。
• 推論不変性仮定の下で、一対のサンプルがなくてもエビデンス下限界（ELBO）を計算できることを示し、一対でないデータに対するエンドツーエンドの訓練を可能にすること。

提案手法

• 本手法は、綺麗な画像 $\mathbf{x}$ と汚れた画像 $\mathbf{y}$ が共有の潜在変数 $\mathbf{z}$ を介して条件付き独立である確率的グラフィカルモデルを用いる。ここで $\mathbf{z}$ は画像のコンテンツを、$\mathbf{z}_n$ は劣化ノイズをエンコードする。
• 変分オートエンコーダー（VAE）フレームワークを採用し、$\mathbf{x}$ と $\mathbf{y}$ のそれぞれに別個のエンコーダーを設け、$\mathbf{z}$ からの $\mathbf{x}$ の再構成を保証する共有のデコーダーを用いる。これにより、一対のデータ間で一貫した潜在表現が得られる。
• 推論不変性条件を $\mathbf{z}$ に課し、一対の $\mathbf{x}$ と $\mathbf{y}$ に対して、事後分布 $q(\mathbf{z}|\mathbf{x})$ と $q(\mathbf{z}|\mathbf{y})$ がほぼ等しくなるように要求する。これにより、一対でないデータからのELBO計算が可能になる。
• ELBOが導出され、推論不変性仮定の下で一対のサンプルがなくても計算可能であることが示され、一対でないデータに対する訓練の数学的根拠が得られる。
• モデルは学習された同時分布 $p(\mathbf{x}, \mathbf{y})$ からサンプリングすることで合成された一対のデータを生成し、これを標準的な教師あり画像修復ネットワークの訓練に用いる。
• ノイズ $\mathbf{n}_x$ と $\mathbf{n}_y$ がそれぞれ入力 $\mathbf{x}$ と $\mathbf{y}$ に対して独立であると仮定し、$q(\mathbf{z}|\mathbf{x}) = \mathbb{E}_{p(\mathbf{n}_x)}[q(\mathbf{z}|\mathbf{x} + \mathbf{n}_x)]$ を導出することで、ノイズ摂動に対して頑健な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、変分推論を用いて、一対でないデータから、綺麗な画像と汚れた画像の同時分布を学習できるか？
• RQ2 共有潜在空間における推論不変性条件は、一対のデータがなくてもELBO最適化を可能にするか？
• RQ3 モデルが生成する合成された一対のデータは、下流の画像修復ネットワークの訓練をどの程度効果的に支援できるか？
• RQ4 推論不変性仮定の下で、一対のデータがなくてもELBOを計算する理論的根拠は何か？
• RQ5 GANベースの手法と比較して、本手法は劣化ノイズ分布をどの程度うまくモデル化できるか？

主な発見

• 提案されたLUD-VAE手法により、一対でない綺麗な画像と汚れた画像のみを用いて、画像修復モデルの効果的な訓練が可能になり、一対のデータ収集の必要がなくなる。
• 推論不変性条件により、一対のデータに対して、事後分布 $q(\mathbf{z}|\mathbf{x})$ と $q(\mathbf{z}|\mathbf{y})$ がほぼ等しく保たれ、一対でないサンプルからのELBO計算が可能になる。
• 理論的分析により、ノイズ分散 $\sigma_{\mathbf{x}}, \sigma_{\mathbf{y}} \to \infty$ かつ $\sigma_{\mathbf{x}}/\sigma_{\mathbf{y}} \to 1$ の極限において、$\|q(\mathbf{z}|\mathbf{x}) - q(\mathbf{z}|\mathbf{y})\|_1$ がゼロに近づくことが示され、推論不変性仮定が極限において妥当であることが裏付けられる。
• 本手法は、DeFlowなどの先行GANベース手法よりも、実際のノイズとよりよく一致する合成ノイズ分布を生成することが、AIM2019データセットのパッチを用いた定性的比較で示された。
• 実験的結果により、画像のノイズ除去、スーパーレゾリューション、低照度画像強化の分野で、既存の非一対学習ベースラインを大きく上回る最先端の性能が達成された。
• 複雑でガウス分布でない劣化ノイズに対しても、本手法は競争力ある結果を達成しており、実世界のノイズ特性に対して頑健であることが示された。