[論文レビュー] Creating High Resolution Images with a Latent Adversarial Generator

David Berthelot, Peyman Milanfar+1 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Image Processing Techniques参考文献 15被引用数 10

ひとこと要約

本稿では、1つの知覚的潜在空間を学習することで、低解像度入力から高解像度画像を生成する新規手法であるLatent Adversarial Generator（LAG）を紹介する。単一の出力に回帰するのではなく、LAGは潜在ノイズベクトルを用いて多様で知覚的に現実的な高解像度画像をサンプリングする。手動の損失重み付けや画素レベルの監視を必要とせず、最先端の視覚的品質を達成する。

ABSTRACT

Generating realistic images is difficult, and many formulations for this task have been proposed recently. If we restrict the task to that of generating a particular class of images, however, the task becomes more tractable. That is to say, instead of generating an arbitrary image as a sample from the manifold of natural images, we propose to sample images from a particular "subspace" of natural images, directed by a low-resolution image from the same subspace. The problem we address, while close to the formulation of the single-image super-resolution problem, is in fact rather different. Single image super-resolution is the task of predicting the image closest to the ground truth from a relatively low resolution image. We propose to produce samples of high resolution images given extremely small inputs with a new method called Latent Adversarial Generator (LAG). In our generative sampling framework, we only use the input (possibly of very low-resolution) to direct what class of samples the network should produce. As such, the output of our algorithm is not a unique image that relates to the input, but rather a possible se} of related images sampled from the manifold of natural images. Our method learns exclusively in the latent space of the adversary using perceptual loss -- it does not have a pixel loss.

研究の動機と目的

• 画素レベルの再構成損失を要件とせず、低解像度入力から多様な高解像度画像を生成すること。
• 単一の真値出力に最適化するのではなく、知覚的潜在空間からのサンプリングとして画像生成をモデル化すること。
• 知覚的損失と対抗的損失の手動ハイパラメータチューニングの必要性をなくすために、統合された潜在空間を学習すること。
• 入力解像度とノイズが生成画像の多様性と品質に与える影響を調査すること。
• 明示的な損失重み付けなしに、1つの知覚的潜在空間が知覚的正確性とシャープネスを暗黙的にバランスさせられることを示すこと。

提案手法

• 生成器Gは、低解像度画像yと、z ~ N(0,1)に従う潜在ノイズベクトルを入力とし、高解像度画像x_zを出力する。
• 評価器Cは、知覚的潜在空間Pへの投影Pと識別器Fに分解され、C = F(P(x,y;φ);ψ)と表される。
• 評価器の1-Lipschitz連続性を保証するため、勾配ペナルティを用いたWasserstein GANの目的関数でモデルを訓練する。
• 知覚的潜在空間Pは、対抗的訓練によりエンドツーエンドで学習され、別個の知覚的またはコンテンツ損失の必要性がなくなる。
• 生成器は、入力画像の意味的コンテンツと整合的でありながら、知覚的に現実的な画像を生成するように訓練される。
• 画像の多様性は、潜在変数zと、入力へのノイズ注入によって制御され、妥当な高解像度画像の多様な多様体の探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つの知覚的潜在空間が、画素損失、知覚的損失、対抗的損失といった複数の手動重み付き損失の必要性を置き換えることができるか？
• RQ2 入力画像のサイズが、生成される高解像度出力の多様性に与える影響は何か？
• RQ3 鏡像化されたか、ノイズを含む低解像度入力が与えられた場合、モデルは一貫性があり意味的に整合性のある高解像度画像を生成できるか？
• RQ4 画素レベルの再構成損失が欠落している場合、標準的な超解像手法と比較して、知覚的品質が向上するか？
• RQ5 潜在ノイズと入力の摂動が、現実性を損なわずに生成画像の多様性を制御できる範囲はどの程度か？

主な発見

• LAGモデルは、明示的な画素損失やコンテンツ損失項を必要とせず、多様で知覚的に現実的な詳細を有する高解像度画像を生成する。
• 鏡像入力からの生成においても強い一貫性を維持し、変換間での意味的整合性を示している。
• z=0を固定した状態でも、低解像度入力にノイズを加えることで、多様で妥当な高解像度出力が得られる。これは、入力摂動に対して強い耐性を示している。
• 手動の損失バランス調整や訓練の不安定性が不要であるが、最先端のGANベースの超解像モデルと同等の高い視覚的品質を達成している。
• 知覚的潜在空間が、知覚的正確性とシャープネスを暗黙的にバランスさせ、現実的で多様な画像を生成している。
• 極端な入力ダウンスケーリング（例：8×および16×）に対してもロバストであり、非常に低解像度の入力からも妥当な高解像度画像を生成可能である。