[論文レビュー] Parallel Multiscale Autoregressive Density Estimation

Scott Reed, Aäron van den Oord+5 more|arXiv (Cornell University)|Mar 10, 2017

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 48

ひとこと要約

本論文は、階層的な画像ピラミッド上で画素を条件付き独立な集合にグループ化することにより、標準的な PixelCNN の推論時間を O(N) から O(log N) に高速化する並列マルチスケール自己回帰的密度モデルを提案する。この手法により、非自己回帰的モデルの中でも最先端の尤度スコアを維持しつつ、512×512 解像度の高精細な画像生成が高速に実現可能となる。

ABSTRACT

PixelCNN achieves state-of-the-art results in density estimation for natural images. Although training is fast, inference is costly, requiring one network evaluation per pixel; O(N) for N pixels. This can be sped up by caching activations, but still involves generating each pixel sequentially. In this work, we propose a parallelized PixelCNN that allows more efficient inference by modeling certain pixel groups as conditionally independent. Our new PixelCNN model achieves competitive density estimation and orders of magnitude speedup - O(log N) sampling instead of O(N) - enabling the practical generation of 512x512 images. We evaluate the model on class-conditional image generation, text-to-image synthesis, and action-conditional video generation, showing that our model achieves the best results among non-pixel-autoregressive density models that allow efficient sampling.

研究の動機と目的

• 標準的な PixelCNN が逐次的画素単位のサンプリングを必要とするため、自己回帰的画像生成の計算コストが高くなるという問題に取り組む。
• 密度推定の品質を損なわせることなく、自己回帰モデルにおける効率的で並列的なサンプリングを可能にする。
• 空間的整合性を保ちつつ、画素グループ間の条件付き独立性を実現する階層的マルチスケールフレームワークを開発する。
• 512×512 解像度の高精細な画像を、非自己回帰的ベースラインと比較して競争力のある尤度スコアを維持しながら、高速に生成する。
• テキストから画像への生成や動画生成といった条件付き生成タスクにおいて、高速な推論を実現する強力な性能を示す。

提案手法

• 各レベルが入力の低解像度版を表すサブサンプリングピラミッドを用いてマルチスケールの画像表現を構築する。
• 下位解像度の特徴量とコンテキストを前提とした場合に、各スケールの画素グループを条件付き独立にモデル化することで、並列的なサンプリングを可能にする。
• 深層畳み込みネットワークを用いて、低解像度特徴量から高解像度画素グループへとグローバルコンテキストを伝搬する。
• グループ化された画素の周辺尤度を、p(x) = ∏_{g=1}^{G} p(x^{(g)}|x^{(1:g-1)}) の形で定式化する。ここで G ∈ O(log N) である。
• 階層的構造を活用して、1枚の画像あたり O(log N) のネットワーク評価回数を実現し、推論時間を著しく短縮する。
• TensorFlow における隠れ活性化のキャッシュ化とイングラフ計算を統合することで、さらに推論を高速化する。

実験結果

リサーチクエスチョン

• RQ1 密度推定性能に顕著な劣化を来すことなく、自己回帰的画像モデルにおいて高速で並列的なサンプリングを達成できるか？
• RQ2 複数スケールにわたって画素を条件付き独立な集合に効果的にグループ化する方法は何か？
• RQ3 低解像度特徴量から高解像度画素グループへと、画像の整合性を保ちながらグローバルコンテキストを効果的に伝えるにはどうすればよいか？
• RQ4 マルチスケール自己回帰モデリングによって、サンプリング時間をどの程度短縮できるか？ また、サンプル品質と尤度スコアを維持できるか？
• RQ5 本手法は、実用的な推論速度を備えた高解像度画像生成（例：512×512）にスケーリング可能か？

主な発見

• 提案手法は O(log N) のサンプリング複雑度を達成し、32×32 解像度では標準的な O(N) PixelCNN と比べて105倍の高速化、64×64 では500倍以上の高速化を実現した。
• ImageNet における128×128 解像度では、1サブピixeあたり3.55ビットの負の対数尤度を達成し、Real NVP や ConvDRAW といった非自己回帰的ベースラインを上回った。
• CUB データセットにおけるテキストから画像への生成では、非常にリアルな鳥の画像を生成し、1000種類の多様なクラスで学習された ImageNet モデルを上回る質的性能を示した。
• 動画生成においては、高解像度の前フレームをコンテキストとして使用した場合、O(1) のサンプリング時間で実現でき、同程度の高速なベースラインを上回った。
• 8×8 の低解像度画像からのサンプリングでは多様なグローバル構造が得られ、32×32 からのアップサンプリングでは、毛並みの模様や目の輪郭といったよりリアルなローカルディテールが再現された。
• CUB、MPII、MS-COCO、ImageNet、ロボットの押し出し動画など、複数のベンチマークで強力な性能を維持しており、広範な適用可能性と頑健性を示した。