[論文レビュー] PixelCNN Models with Auxiliary Variables for Natural Image Modeling

Alexander Kolesnikov, Christoph H. Lampert|arXiv (Cornell University)|Dec 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 7

ひとこと要約

本論文は、補助変数（量子化されたグレースケール画像およびマルチスケール画像ピラミッド）を用いることで、標準のPixelCNNの主な限界である高レベルの画像構造のモデリングの不足と、遅いサンプリングの問題を解決する2つの改良型PixelCNNモデル—グレースケールPixelCNNおよびピラミッドPixelCNN—を提案する。低レベルのテクスチャと高レベルの形状モデリングを分離し、マルチスケール生成を可能にすることで、より現実的でグローバルに一貫性のある高解像度画像を生成する。特に128×128解像度のフォトリアリスティックな顔の生成が可能となり、従来手法に比べて最大12.5倍高速なサンプリング速度を達成する。

ABSTRACT

We study probabilistic models of natural images and extend the autoregressive family of PixelCNN architectures by incorporating auxiliary variables. Subsequently, we describe two new generative image models that exploit different image transformations as auxiliary variables: a quantized grayscale view of the image or a multi-resolution image pyramid. The proposed models tackle two known shortcomings of existing PixelCNN models: 1) their tendency to focus on low-level image details, while largely ignoring high-level image information, such as object shapes, and 2) their computationally costly procedure for image sampling. We experimentally demonstrate benefits of the proposed models, in particular showing that they produce much more realistically looking image samples than previous state-of-the-art probabilistic models.

研究の動機と目的

• 標準PixelCNNが低レベルの詳細には優れた性能を示す一方で、オブジェクトの形状などの高レベルの画像構造を十分にモデリングできないという限界を解消すること。
• 自己回帰的モデルにおけるサンプリングの計算コストを低減すること。これは、逐次的なピクセル生成のため、実用的でないほど遅いためである。
• グレースケールやマルチスケール画像表現などの補助変数が、サンプル品質とサンプリング効率の両方を向上させることを検証すること。
• 確率的画像モデルのインダクティブバイアス、特にグローバルな意味論を損なって低レベルのテクスチャに過剰に適合する傾向を理解すること。
• 深層ネットワークを必要としない軽量なPixelCNNを複数スケールに適用することで、深さのないアーキテクチャでも高精細な画像生成が可能かどうかを示すこと。

提案手法

• グレースケールPixelCNNは、画像の量子化されたグレースケール版を条件として用いることで、高レベルの形状モデリングと低レベルのテクスチャモデリングを分離する。
• ピラミッドPixelCNNでは、マルチスケール画像ピラミッドを補助変数として採用し、粗いスケールから細かいスケールへの段階的で階層的な画像生成を可能にする。
• ピクセル強度を混合ロジスティック分布でモデリングし、混合成分の分散を低減することで知覚的品質を向上させる、新しいMAPベースのサンプリング戦略を導入。
• ピラミッドの各スケールに軽量なPixelCNNアーキテクチャを適用することで、サンプリング時のピクセルあたりの計算コストを顕著に削減。
• 畳み込み層の空間的場所間でパラメータを共有しながら、エンドツーエンドで最尤推定を用いてモデルを学習。
• さらにサンプリングを高速化するキャッシュ最適化推論パイプラインを導入し、TitanX GPU上でピクセルあたり約0.004秒の速度を達成。

実験結果

リサーチクエスチョン

• RQ1 グレースケール画像などの補助変数でPixelCNNを条件づけることで、オブジェクトの形状やグローバルな対称性といった高レベルの画像構造のモデリングが向上するか。
• RQ2 画像表現のピラミッドを用いてマルチスケールのステップに分けて生成することで、従来の自己回帰的モデルに比べて、より高速かつ高品質なサンプリングが可能になるか。
• RQ3 低レベルのテクスチャモデリングが、自然画像における本質的な高レベルの意味論的コンテンツの捉え方をどれほど妨げるか。
• RQ4 複数スケールに軽量なPixelCNNを適用しても、深層や複雑なネットワークを必要とせずに、フォトリアリスティックで高解像度の画像を生成できるか。
• RQ5 確率的サンプリングとMAP推論の利点を組み合わせたサンプリング戦略が、多様性を損なわず知覚的品質を向上させられるか。

主な発見

• グレースケールPixelCNNは、オブジェクトの形状や対称性を捉えたグローバルに一貫性のある画像サンプルを生成し、標準PixelCNNに比べて顕著に視覚的品質が向上する。
• ピラミッドPixelCNNは、CIFAR-10で3.32ビット／次元のテスト尤度を達成し、最先端の性能を再現しながら、高解像度画像生成も可能である。
• サンプリング速度は約12.5倍向上し、ピラミッドPixelCNNはTitanX GPU上でピクセルあたり約0.004秒の速度を達成。これは、キャッシュを用いたPixelCNN++の約0.05秒／ピクセルに比べて顕著に高速である。
• 新規に導入されたMAPベースのサンプリング戦略—ランダムにサンプルされた混合成分のモードを選択する方法—により、ほぼフォトリアリスティックな品質の画像が得られ、多様な顔貌や表情が再現された。
• ピラミッドPixelCNNにおけるマルチスケール生成プロセスは、8×8のシードから128×128の画像を構築し、アップサンプリング中にグローバルな一貫性と構造的一致性を維持した。
• 著者らは、ピクセル分布における混合成分の分散を低減させることで知覚的品質が向上することを観察し、予測分布の高い分散が現実性を阻害する可能性があると示唆した。