[論文レビュー] Variational Image Restoration Network

Zongsheng Yue, Hongwei Yong+3 more|arXiv (Cornell University)|Aug 25, 2020

Advanced Image Processing Techniques参考文献 80被引用数 6

ひとこと要約

本稿では、複雑で画素単位の非i.i.d.なガウスノイズおよび一般化された画像劣化プロセスをモデル化する変分画像修復ネットワークを提案する。2つのディープニューラルネットワークを用いて、変分推論により潜在的な綺麗画像とノイズ分布を推論する。本手法は、現実の劣化を明示的にモデル化することで、画像ノイズ除去、超解像、JPEGデブロッキングの分野で最先端の性能を達成し、既存の深層学習ベースの手法を上回り、一般化性能が向上している。

ABSTRACT

Deep neural networks (DNNs) have achieved significant success in image restoration tasks by directly learning a powerful non-linear mapping from corrupted images to their latent clean ones. However, there still exist two major limitations for these deep learning (DL)-based methods. Firstly, the noises contained in real corrupted images are very complex, usually neglected and largely under-estimated in most current methods. Secondly, existing DL methods are mostly trained on one pre-assumed degradation process for all of the training image pairs, such as the widely used bicubic downsampling assumption in the image super-resolution task, inevitably leading to poor generalization performance when the true degradation does not match with such assumed one. To address these issues, we propose a unified generative model for the image restoration, which elaborately configures the degradation process from the latent clean image to the observed corrupted one. Specifically, different from most of current methods, the pixel-wisely non-i.i.d. Gaussian distribution, being with more flexibility, is adopted in our method to fit the complex real noises. Furthermore, the method is built on the general image degradation process, making it capable of adapting diverse degradations under one single model. Besides, we design a variational inference algorithm to learn all parameters involved in the proposed model with explicit form of objective loss. Specifically, beyond traditional variational methodology, two DNNs are employed to parameterize the posteriori distributions, one to infer the distribution of the latent clean image, and another to infer the distribution of the image noise. Extensive experiments demonstrate the superiority of the proposed method on three classical image restoration tasks, including image denoising, image super-resolution and JPEG image deblocking.

研究の動機と目的

• 単純で固定された劣化プロセスを仮定し、複雑な現実世界のノイズを無視する既存の深層学習ベースの画像修復手法の限界を解消すること。
• 綺麗な画像から汚れた画像への柔軟で学習可能な変換として画像劣化プロセスをモデル化することで、一般化性能を向上させること。
• 現実の汚れた画像に見られる複雑で非i.i.d.なノイズ分布を明示的にモデル化すること。これは、現在の手法でしばしば低く見積もられたり無視されたりしている。
• 多様な劣化タイプに一つのフレームワークで適応可能な統一された生成モデルを開発すること。
• 明示的な目的損失関数を備えた変分推論アルゴリズムにより、エンドツーエンドの学習を可能にし、耐障害性と性能を向上させること。

提案手法

• 本手法は、観測された汚れた画像を、劣化プロセスを通じて変換された潜在的な綺麗画像としてモデル化する生成モデルの問題として定式化する。
• 標準的なi.i.d.ノイズ仮定よりも柔軟性に優れる、画素単位の非i.i.d.なガウス分布を用いて、現実の複雑なノイズをモデル化する。
• 一般化された画像劣化プロセスを明示的にモデル化することで、再トレーニングなしにさまざまな劣化に適応できる。
• 2つのディープニューラルネットワークを用いて事後分布をパrameter化する：1つは潜在的な綺麗画像用、もう1つはノイズ用。これにより、変分推論による同時推論が可能になる。
• すべてのモデルパラメータをエンドツーエンドで最適化する明示的な目的損失関数を備えた変分推論アルゴリズムを用いてモデルを学習する。
• 本フレームワークは、1つの統一されたアーキテクチャで、ノイズ除去、超解像、JPEGデブロッキングの複数の画像修復タスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 統一された深層学習フレームワークは、非i.i.d.かつ空間的に変化する現実の画像ノイズを効果的にモデル化できるか？
• RQ2 劣化プロセスを明示的にモデル化することで、多様な画像修復タスクにおける一般化性能がどのように向上するか？
• RQ3 2つの事後分布ネットワークを備えた変分推論ベースのアプローチは、標準的なオートエンコーダー形式の手法に比べて、画像修復においてどの程度優れた性能を発揮するか？
• RQ4 本手法は、bicubicダウンサンプリングなどの固定された劣化仮定のもとで訓練された既存のDL手法よりも、より優れた一般化性能を示すか？
• RQ5 同じモデルが、タスク固有の適応なしに、複数の画像修復タスクで最先端の性能を達成できるか？

主な発見

• 提案手法は、画像ノイズ除去、超解像、JPEGデブロッキングの分野で最先端の性能を達成し、多様な劣化タイプにわたる優れた一般化性能を示している。
• 非i.i.i.d.なノイズ分布を明示的にモデル化することで、i.i.d.または簡略化されたノイズモデルを仮定するベースライン手法を著しく上回っている。
• 学習可能な一般化された劣化プロセスを用いることで、タスク固有の再トレーニングなしに現実の汚染に適応できる。
• 綴りのない変分推論フレームワークと、綺麗画像とノイズの事後分布推定に別々のネットワークを用いることで、より正確で頑健な推論が可能になった。
• 広範な実験により、不一致な劣化条件下でも、既存のDLベースの手法よりも優れた一般化性能を確認した。
• すべての3つのベンチマークタスクで一貫した性能向上が得られ、統一された生成モデルの有効性が裏付けられた。