[論文レビュー] Amortised MAP Inference for Image Super-resolution

Casper Kaae Sønderby, J. A. Caballero+3 more|arXiv (Cornell University)|Oct 14, 2016

Advanced Image Processing Techniques被引用数 155

ひとこと要約

この論文は、ダウンサンプリング演算子とのアフィン一貫性を課すことで単一画像超解像のためのアモルタイズド MAP 推論を導入し、MAP 解を近似するために GAN ベース、デノイザー支援型、密度ベースアプローチを探る。

ABSTRACT

Image super-resolution (SR) is an underdetermined inverse problem, where a large number of plausible high-resolution images can explain the same downsampled image. Most current single image SR methods use empirical risk minimisation, often with a pixel-wise mean squared error (MSE) loss. However, the outputs from such methods tend to be blurry, over-smoothed and generally appear implausible. A more desirable approach would employ Maximum a Posteriori (MAP) inference, preferring solutions that always have a high probability under the image prior, and thus appear more plausible. Direct MAP estimation for SR is non-trivial, as it requires us to build a model for the image prior from samples. Furthermore, MAP inference is often performed via optimisation-based iterative algorithms which don't compare well with the efficiency of neural-network-based alternatives. Here we introduce new methods for amortised MAP inference whereby we calculate the MAP estimate directly using a convolutional neural network. We first introduce a novel neural network architecture that performs a projection to the affine subspace of valid SR solutions ensuring that the high resolution output of the network is always consistent with the low resolution input. We show that, using this architecture, the amortised MAP inference problem reduces to minimising the cross-entropy between two distributions, similar to training generative models. We propose three methods to solve this optimisation problem: (1) Generative Adversarial Networks (GAN) (2) denoiser-guided SR which backpropagates gradient-estimates from denoising to train the network, and (3) a baseline method using a maximum-likelihood-trained image prior. Our experiments show that the GAN based approach performs best on real image data. Lastly, we establish a connection between GANs and amortised variational inference as in e.g. variational autoencoders.

研究の動機と目的

• SR の MAP 推論を動機づけ、MSE ベースのトレーニングによるブレではなく、妥当で高い確率を持つ高解像度画像を生成する。
• 有効な SR 解のアフィン部分空間へ出力を射影するニューラルアーキテクチャを提案し、LR–HR の一貫性を保証する。
• SR のためのアモルタイズド MAP 推論法を3つ開発・比較する（GAN ベース、デノイザー支援型、密度モデルベース）。
• AffGAN 手法が実画像上で視覚的にシャープで妥当な SR 結果をもたらすことを実証する。

提案手法

• ダウンサンプリング演算子 A およびそのムーア＝ペンローズ逆行列 A+ を介して LR 入力との一貫性を強制するアフィン射影層を導入する。
• モデル出力分布 qθ と HR イメージ事前分布 pY とのクロスエントロピーを最小化する形でアモルタイズド MAP 推論を定式化する。
• AffGAN を提案する。アフィン射影をジェネレータとする GAN で、KL[qθ∥pY] を最小化するよう訓練する。
• AffDG を提案する。Bayes 最適デノイザーからの勾配推定を伝搬させて θ を更新するデノイザー支援型。
• AffLL を提案する。PixelCNN 風の密度モデル（MCGSM）を用いて pY とのクロスエントロピーを導く密度ガイド型。
• GAN 訓練の安定化テクニックとしてのインスタンスノイズを議論し、確率的 AffGAN の変種をアモルタイズド変分推論に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 LR 入力と整合するアフィン部分空間に出力を制約することにより、画像 SR のためのアモルタイズド MAP 推論は効果的に学習できるか。
• RQ2 提案された戦略のうち（AffGAN、AffDG、AffLL）がクロスエントロピー H[qθ, pY] を最も効果的に最小化し、知覚的に妥当な SR 結果を生み出すか？
• RQ3 アフィン一貫性を課すことは、従来の MSE ベース訓練と比較して SR の精度と現実味にどう影響するか？
• RQ4 この設定における GAN ベース SR と変分/推論フレームワークとの関係は何か？

主な発見

• アフィン射影層は LR→HR の一貫性を保証し、AFf プロジェクトは実験でダウンサンプリング誤差をほぼゼロに低減する。
• AffGAN（GAN ベース）は CelebA や自然画像などの実データ上で最もシャープで妥当な SR 画像を提供し、知覚品質の点でソフト制約型の変種を上回る。
• AffGAN は鋭く妥当な出力を生み出す傾向があり、GAN ベースの SR に特徴的な高周波ノイズを伴う一方、MSE 学習モデルはよりぼやける。
• AffDG および AffLL はいくつかのデータセットで妥当な結果を生むことがあるが、自然画像や顔画像では AffGAN よりぼやけるか、シャープさに欠ける傾向。
• 2D の toy MAP デモンストレーションと実画像データセット全体で、AffGAN/ AffDG 法は MSE/MAE ベースラインより MAP 解に収束するクロスエントロピーをより効果的に最小化する。