[論文レビュー] Latent Convolutional Models

ShahRukh Athar, Evgeny Burnaev+1 more|arXiv (Cornell University)|Jun 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 11

ひとこと要約

本論文は、従来のベクトルベースの潜在空間を学習可能な2次元特徴マップに置き換えることで、優れた画像補完と再構成を実現する生成フレームワーク、Latent Convolutional Models (LCM) を提案する。潜在空間を空間的特徴マップとしてモデル化することで、CelebA、CelebAHQ、Bedrooms データセットにおいて、GLO、DIP、WGAN、PGAN のベースラインを上回る最先端の性能を達成し、特に高濃度の欠損と低データ環境下でも優れた定量的・定性的な性能を示す。

ABSTRACT

We present a new latent model of natural images that can be learned on large-scale datasets. The learning process provides a latent embedding for every image in the training dataset, as well as a deep convolutional network that maps the latent space to the image space. After training, the new model provides a strong and universal image prior for a variety of image restoration tasks such as large-hole inpainting, superresolution, and colorization. To model high-resolution natural images, our approach uses latent spaces of very high dimensionality (one to two orders of magnitude higher than previous latent image models). To tackle this high dimensionality, we use latent spaces with a special manifold structure (convolutional manifolds) parameterized by a ConvNet of a certain architecture. In the experiments, we compare the learned latent models with latent models learned by autoencoders, advanced variants of generative adversarial networks, and a strong baseline system using simpler parameterization of the latent space. Our model outperforms the competing approaches over a range of restoration tasks.

研究の動機と目的

• 標準的なベクトルベースの潜在空間を学習可能な2次元特徴マップに置き換えることで、画像補完と再構成の性能を向上させること。
• GLO や他の GAN ベースのモデルが、高解像度で非 tightly-cropped な顔画像を再構成する際の限界を解消すること。
• 極端な遮断（95% ピixeL ドロップアウト）下でも、空間的に構造化された潜在変数が現実的で高品質な画像補完を生成する能力を評価すること。
• CelebA、CelebAHQ、Bedrooms を含む多様なデータセット上で、GLO、DIP、WGAN-GP、PGAN といった強力なベースラインと LCM を比較すること。

提案手法

• LCM は、2次元特徴マップ潜在空間をフル解像度の画像にマップするためのホーリーガラスアーキテクチャを備えた生成ネットワークを使用する。
• 潜在空間は1次元ベクトルではなく、2次元畳み込み特徴マップ（例：4×4 または 32×32）としてパrameter化され、空間的インダクティブバイアスを可能にする。
• 生成ネットワークは、アップサンプリング中に高周波成分を保持するためにスキップ接続を採用する。
• 潜在ネットワーク fϕi は畳み込みエンコーダーであり、入力画像を2次元潜在特徴マップに変換する。
• 訓練には再構成目的関数に adversarial loss を使用し、潜在空間に L2 正則化は適用しない。
• モデルは CelebA（128×128）、Bedrooms（256×256）、CelebAHQ（1024×1024）のデータセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ベクトルベースの潜在変数を2次元特徴マップに置き換えることで、高解像度で非 tightly-cropped な顔画像における画像補完性能が向上するか？
• RQ2 極端な遮断下で、LCM は GLO、DIP、WGAN-GP、PGAN と比較して再構成品質と損失の点で優れているか？
• RQ3 潜在空間に L2 正則化を適用しないことで、画像修復タスクにおける一般化性能が向上するか？
• RQ4 空間的に構造化された潜在空間は、密なベクトル表現と比較して、局所的な画像構造をより効果的に捉えられるか？

主な発見

• LCM は、24k パrameter の2次元潜在マップを用いて CelebA で再構成損失 0.0113 を達成し、8192次元のベクトルを用いたベクトルベースの GLO モデル（損失：0.0144）を顕著に上回る。
• 24k (Conv) LCM のバリエーションは、すべての GLO バリエーションの中で最小の再構成損失を達成しており、潜在空間における空間的構造がモデリング能力を向上させることを示している。
• WGAN-GP において潜在変数に L2 ペナルティを追加すると再構成損失が上昇し、ペナルティなし（0.1893）から重み=1 にすると 0.53 にまで上昇する。これは正則化が性能を損なうことを示している。
• LCM は、特に 95% ピクセルドロップアウト下で、GLO、DIP、WGAN、PGAN よりも優れた定性的な補完結果を生成し、視覚的忠実度と詳細回復性能に優れている。
• 24k (Conv) LCM モデルは、パラメータ数がほぼ同等の 8192 (vec) GLO モデルよりも優れた結果を達成しており、空間的インダクティブバイアスの利点を示している。
• LCM はデータセット間で良好な一般化性能を示し、従来の GAN が非 tightly-cropped 画像で苦戦した CelebAHQ および Bedrooms でも強力な性能を発揮している。