[論文レビュー] DRAW: A Recurrent Neural Network For Image Generation

Karol Gregor, Ivo Danihelka+3 more|arXiv (Cornell University)|Feb 16, 2015

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 964

ひとこと要約

DRAWは、変分自己符号化と段階的精錬を組み合わせた、微分可能空間的注意を備えた再帰的ニューラルネットワークを用いた反復的画像生成を提案する。バイナリ化MNISTでは最先端の結果を達成し、本物の画像と区別できない写真的なStreet View House Numbersの生成も可能である。

ABSTRACT

This paper introduces the Deep Recurrent Attentive Writer (DRAW) neural network architecture for image generation. DRAW networks combine a novel spatial attention mechanism that mimics the foveation of the human eye, with a sequential variational auto-encoding framework that allows for the iterative construction of complex images. The system substantially improves on the state of the art for generative models on MNIST, and, when trained on the Street View House Numbers dataset, it generates images that cannot be distinguished from real data with the naked eye.

研究の動機と目的

• 人間の画像作成に類似した段階的精錬による、順次的で画像生成を模倣する生成モデルの開発。
• 一度に生成する生成モデルの限界を克服し、段階的かつ注意誘導による画像構築を可能にする。
• SVHN や CIFAR-10 のような複雑なデータセットにおいて、画像生成のスケーラビリティと品質を向上させる。
• 変分自己符号化フレームワークに完全に微分可能な注目メカニズムを統合し、エンドツーエンドの学習を可能にする。

提案手法

• 時間経過に伴って潜在コードの系列を処理する再帰的エンコーダ・デコーダアーキテクチャを採用。
• 各タイムステップで読み取り（エンコーダ）および書き込み（デコーダ）する領域を動的に選択する微分可能な空間的注目メカニズムを採用。
• 一度に全画像を生成するのではなく、キャンバスに対して小さな修正を段階的に加えることで画像を反復的に構築。
• 潜在変数の事後分布と事前分布のKLダイバージェンス項と再構成誤差を用いて、対数尤度の変分上界を最小化する変分推論フレームワークを適用。
• 再帰的デコーダを用いて画像のパッチを生成し、それらを累積的なキャンバスに加える。注目メカニズムがどこに描画するかをガイドする。
• 変分下界（ELBO）を最適化するために、確率的勾配降下法を用いて全システムをエンドツーエンドで学習。

実験結果

リサーチクエスチョン

• RQ1 微分可能注目を備えた再帰的ニューラルネットワークは、段階的精錬によって高品質で複雑な画像を生成できるか？
• RQ2 空間的注目を統合することで、非注目モデルと比較して画像生成の品質とスケーラビリティが向上するか？
• RQ3 本物のデータと視覚的に区別できないようなリアルな自然画像（例：Street View House Numbers）を生成できるか？
• RQ4 CIFAR-10 のような多様で高解像度のデータセットにおいて、先行研究の最先端手法と比較してどのように性能を発揮するか？
• RQ5 同じ注目メカニズムは画像分類タスクに対しても有益であるか？

主な発見

• DRAWはバイナリ化MNIST画像生成において、先行手法を上回る最先端の性能を達成した。
• Street View House Numbers データセットでは、人間による評価で生成画像が本物の画像と区別できないことが確認された。
• モデルは2桁のMNIST合成画像を、各数字を順次描画することで生成し、構成的シーン生成の能力を示した。
• 注目メカニズムにより、ネットワークは線をなぞるように数字を描画し、人間のスケッチ行動を模倣した。
• CIFAR-10 に対しても一般化でき、高いデータセットの複雑さと限られた学習データにもかかわらず、多様でリアルな画像を生成した。
• 微分可能な注目メカニズムは画像分類タスクの性能向上にも寄与し、生成以外の分野への応用可能性も示唆した。