[論文レビュー] Super-resolution Variational Auto-Encoders

Ioannis Gatopoulos, Maarten Stol+1 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Image Processing Techniques参考文献 31被引用数 7

ひとこと要約

本稿では、入力画像の2倍ダウンサンプル版を潜在変数として導入することで、VAEの性能を向上させる超解像変分オートエンコーダー（srVAE）を提案する。このアプローチにより、高精度な画像生成が可能になるとともに、対数尤度の目的関数を維持する。本モデルは、CIFAR-10およびImageNet32で最先端のFIDスコアを達成し、尤度性能を損なうことなく、画像のシャープネスを著しく向上させる。

ABSTRACT

The framework of variational autoencoders (VAEs) provides a principled method for jointly learning latent-variable models and corresponding inference models. However, the main drawback of this approach is the blurriness of the generated images. Some studies link this effect to the objective function, namely, the (negative) log-likelihood. Here, we propose to enhance VAEs by adding a random variable that is a downscaled version of the original image and still use the log-likelihood function as the learning objective. Further, by providing the downscaled image as an input to the decoder, it can be used in a manner similar to the super-resolution. We present empirically that the proposed approach performs comparably to VAEs in terms of the negative log-likelihood, but it obtains a better FID score in data synthesis.

研究の動機と目的

• VAEで生成される画像のぼやけ具合を是正すること。これは、しばしば対数尤度目的関数に起因する。
• 対数尤度学習目的を放棄せずに、VAEにおける画像品質を向上させること。
• 構造的かつ学習可能なダウンサンプル表現を用いて、超解像をVAEフレームワークに統合すること。
• 超解像部を備えたより洗練された潜在構造が、生成の忠実度を向上させつつも、競争力ある尤度スコアを維持できることを示すこと。

提案手法

• 入力画像の2倍ダウンサンプル版を表す新しい潜在変数yを導入し、これをデコーダーの入力として使用する。
• 標準的なVAE目的（ELBO）を用い、元の画像xとダウンサンプル画像yが潜在変数に条件づけられており、それらが条件付き独立にモデル化される関数を採用する。
• データ駆動型の複雑な事前分布をモデル化するため、DenseNetベースのエンコーダーとデコーダーに加え、RealNVPに基づくフロー事前分布を採用する。
• デコーダーにダウンサンプル画像yを入力することで、超解像に類似した画像再構成が可能になるように条件付き生成を実行する。
• 再パラメータライゼーション勾配とモンテカルロ推定を用いてELBO目的関数を最適化し、エンドツーエンドの微分可能性を維持する。
• トレーニング中にダウンサンプル画像を監視信号として用いることで、粗いスケールから細かいディテールへと段階的な画像生成を学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 ダウンサンプル画像を潜在変数として導入することで、対数尤度目的関数を損なわずに、VAEで生成される画像のシャープネスを向上させることができるか？
• RQ2 VAEフレームワークに超解像部を統合することで、FIDスコアで測定されるように、より優れた知覚的品質が得られるか？
• RQ3 尤度性能と再構成忠実度の観点から、本モデルは標準VAEと比べてどのように異なるか？
• RQ4 フローベースの事前分布とマルチレベルの潜在構造を組み合わせることで、VAEにおけるポストリアルコリジョン（後方崩壊）を緩和できるか？
• RQ5 粗いスケールから細かいスケールへの段階的生成プロセスは、人間の視覚系の発達プロセスをどれほど模倣しているか？

主な発見

• srVAEは、標準VAEと比較して顕著に優れたFréchet Inception Distance（FID）スコアを達成しており、知覚的品質が高く、画像生成のシャープネスが向上していることが示された。
• CIFAR-10では、最先端の単一レベルVAEと同等のbits per dimension（bpd）スコアを達成しており、優れた密度推定性能を示した。
• 元の画像（RE_x）の再構成誤差が標準VAEよりも低く抑えられており、再構成の忠実度が向上していることが示された。
• ダウンサンプル画像（RE_y）の再構成誤差はやや高くなったが、全体のFIDスコアの向上から、階層的生成プロセスの有効性が確認された。
• 潜在変数zおよびuのKLダイバージェンス値は両方とも高い（CIFAR-10およびImageNet32で約1500）まま維持されており、ポストリアルコリジョンが発生しておらず、潜在空間が積極的に使用されていることが示された。
• 定性的な結果から、モデルは一貫性のあるグローバル構造とシャープなローカルディテールを備えた画像を生成しており、スケッチからフィニッシュへの2段階的プロセスに類似していることが観察された。