[論文レビュー] Spatial PixelCNN: Generating Images from Patches

Nader Akoury, Anh‐Tu Nguyen|arXiv (Cornell University)|Dec 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 5

ひとこと要約

この論文は、空間座標とVAEからのグローバル特徴を用いて、小規模な画像パッチで訓練することで高解像度画像を生成する条件付き自己回帰モデル、Spatial PixelCNNを紹介している。8×8パッチでの訓練にもかかわらず、MNISTにおいて最大50倍のスケーリングが可能であり、PixelCNN++ベースラインを上回る性能を発揮し、元解像度でのサンプル品質も最先端水準を達成している。

ABSTRACT

In this paper we propose Spatial PixelCNN, a conditional autoregressive model that generates images from small patches. By conditioning on a grid of pixel coordinates and global features extracted from a Variational Autoencoder (VAE), we are able to train on patches of images, and reproduce the full-sized image. We show that it not only allows for generating high quality samples at the same resolution as the underlying dataset, but is also capable of upscaling images to arbitrary resolutions (tested at resolutions up to $50 imes$) on the MNIST dataset. Compared to a PixelCNN++ baseline, Spatial PixelCNN quantitatively and qualitatively achieves similar performance on the MNIST dataset.

研究の動機と目的

• 限られたGPUメモリで高解像度画像に対する自己回帰的生成モデルを訓練する課題に対処すること。
• 低解像度の訓練データのみを用いて、任意の解像度での画像生成を可能にすること。
• パッチベースの自己回帰的モデルにおける、空間的条件付けとグローバルな潜在コードが、サンプルの整合性とスケーラビリティを向上させるかを調査すること。
• 小規模なパッチと空間的・グローバルな条件付けを用いた訓練が、フル画像での訓練と同等の性能を達成できることを示すこと。

提案手法

• 各ピクセルが局所的な近傍で事前に生成されたピクセルに基づいて予測される、条件付き自己回帰フレームワークを採用する。
• 位置的文脈を提供するために、2次元グリッドとしての空間座標を条件付けに組み込むことで、フル画像解像度への依存を軽減する。
• 変分オートエンコーダー（VAE）がグローバル画像特徴を抽出し、構造的整合性を維持するための追加の条件付け入力を提供する。
• モデルは小規模な画像パッチ（例：8×8または16×16）で訓練され、これによりメモリ使用量が低減され、スケーラビリティが向上する。
• 推論時、モデルはターゲット解像度を入力として受け取り、座標と潜在コードに条件付けられた自己回帰的サンプリングにより、任意のサイズの画像を生成する。
• アーキテクチャは、局所的モデリングにPixelCNN++を組み合わせ、空間的およびグローバルな条件付けを統合することで、低解像度パッチからの高解像度生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 小規模な画像パッチで訓練する際、ピクセル座標への空間的条件付けが自己回帰的画像生成を改善するか？
• RQ2 VAEからのグローバルな潜在コードと空間的条件付けを組み合わせることで、高解像度におけるサンプル品質と構造的整合性が向上するか？
• RQ3 低解像度パッチでの訓練に特化したモデルが、訓練解像度よりも著しく高い解像度（例：2倍〜50倍）で高品質な画像を生成できるか？
• RQ4 パッチサイズが、訓練効率、モデル容量、生成品質のトレードオフに与える影響はいかほどか？

主な発見

• 8×8パッチで訓練されたSpatial PixelCNNは、28×28 MNISTサンプルで92.1±1.8のLeNet信頼度スコアを達成し、PixelCNN++ベースライン（93.7±1.7）と同等の性能を示した。
• パラメータ数が少ないにもかかわらず、8×8パッチで訓練されたモデルは16×16パッチで訓練されたモデルよりも、56×56のサンプルでより整合性の高い結果を生成した。
• 空間的条件付けを用いて20×20パッチで訓練した場合、28×28 MNISTにおけるビット数（BPD）は1.48に達し、強力な尤度モデリングを示した。
• モデルは、元の解像度の50倍（例：8×8パッチから224×224）の高解像度画像を、整合性の損失が最小限に抑えられて生成できた。
• 8×8パッチでの訓練でさえ、56×56解像度において高いMS-SSIMと信頼度スコアを維持し、16×16パッチで訓練されたより大きなモデルを上回った。
• 非常に小さなパッチ（例：4×4）で訓練しても、空間座標の追加がサンプル品質を顕著に向上させ、ベースラインモデルがグローバルな整合性を維持できなかった状況でも有効であった。