[論文レビュー] Pixel Recurrent Neural Networks

Aäron van den Oord, Nal Kalchbrenner+1 more|arXiv (Cornell University)|Jan 25, 2016

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 488

ひとこと要約

PixelRNNs は、2D 再帰層（Row LSTM と Diagonal BiLSTM）とマスク付き畳み込みを用いて、画像ピクセルの離散分布をモデル化し、高忠実度でグローバルに一貫した画像を生成します。複数のデータセットで最先端の対数尤度を達成し、ImageNet のベンチマークを提供します。

ABSTRACT

Modeling the distribution of natural images is a landmark problem in unsupervised learning. This task requires an image model that is at once expressive, tractable and scalable. We present a deep neural network that sequentially predicts the pixels in an image along the two spatial dimensions. Our method models the discrete probability of the raw pixel values and encodes the complete set of dependencies in the image. Architectural novelties include fast two-dimensional recurrent layers and an effective use of residual connections in deep recurrent networks. We achieve log-likelihood scores on natural images that are considerably better than the previous state of the art. Our main results also provide benchmarks on the diverse ImageNet dataset. Samples generated from the model appear crisp, varied and globally coherent.

研究の動機と目的

• ピクセルレベルで自然画像の扱いやすく表現力のある生成モデルを動機づける。
• 画像の行と対角線全体にわたる長距離依存性を捉えるための二次元再帰アーキテクチャを提案する。
• 適切な条件付けのために、ソフトマックス出力とマスク付き畳み込みを用いた離散的なピクセルモデリングを探る。
• 残差結合やマルチスケール構成といったアーキテクチャの革新を標準ベンチマークで評価する。
• 生成画像のグローバルな整合性とリアリズムを評価するための定性的サンプルを提供する。

提案手法

• 画像分布を、行優先順にピクセル上の条件付き分布の積として因数分解する。
• 各ピクセルの RGB チャンネルを、ソフトマックスによる条件付き多項分布（離散値 0–255）でモデル化する。
• 残差結合を伴う二つの 2D 再帰層を導入する：Row LSTM（行方向畳み込み）と Diagonal BiLSTM（対角方向畳み込み）。
• 畳み込み遷移でマスキングを適用し、適切なピクセル条件付けを強制する（最初の層は mask A、以降の層は mask B）。
• PixelRNN とコアアイデアを共有しつつ、訓練を速めるために完全畳み込みアーキテクチャを持つ PixelCNN のバリアントを開発する。
• 任意で、最初に小さな画像を無条件に生成し、その後アップサンプルした小画像を条件付けとして大きな画像を生成する Multi-Scale PixelRNN を採用する。

実験結果

リサーチクエスチョン

• RQ1 二次元再帰アーキテクチャ（Row LSTM、Diagonal BiLSTM）は自然画像における長距離依存性を効果的にモデル化できるか？
• RQ2 ソフトマックス出力を用いた離散ピクセル値のモデリングは、連続値アプローチより性能を改善しますか？
• RQ3 残差結合と深さが対数尤度とサンプル品質に与える影響は何か？
• RQ4 標準データセットで、ピクセルレベルの自己回帰モデルは PixelCNN のような畳み込み代替とどう比較されるか？
• RQ5 マルチスケール条件付けスキームは生成画像のグローバルな一貫性を改善するか？

主な発見

• PixelRNNs は MNIST と CIFAR-10 において、従来の最先端を大幅に上回る対数尤度を達成する。
• 対角方向に焦点を当てた全対角再帰を用いる Diagonal BiLSTM と行方向再帰の Row LSTM は、グローバルな画像構造を効果的に捉え、Residual 接続と組み合わせた深いモデルほど性能が向上する。
• 離散的なソフトマックスピクセルモデリングは、連続ピクセルモデリングに対する表現力と訓練上の利点を提供し、競合するまたはそれを上回る対数尤度結果をもたらす。
• 残差接続は深い PixelRNNs と PixelCNNs の訓練を大幅に助け、最大で 12 個の再帰層を用いた改善された最適化を実現する。
• Multi-Scale PixelRNNs は単一スケールモデルと比較してグローバルな一貫性を改善した画像を生成しつつ、対数尤度は同等程度を提供する。