[論文レビュー] A Deep Generative Deconvolutional Image Model

Yunchen Pu, Xin Yuan+3 more|arXiv (Cornell University)|Dec 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 12

ひとこと要約

本論文は、確率的アンプーリングを用いたトップダウン画像生成のための階層的畳み込み辞書学習に基づく深層生成的デコンボリューションモデルを提案する。また、マックスマージン監視のためのベイジアンSVMを統合し、GPU加速MCEMによる学習を実施することで、ImageNetで最先端の分類性能（モデルアveragingを用いた13.6％のトップ5誤差）を達成した。これは大規模データセットにおける強力なスケーラビリティと生成能力を示している。

ABSTRACT

A deep generative model is developed for representation and analysis of images, based on a hierarchical convolutional dictionary-learning framework. Stochastic {\em unpooling} is employed to link consecutive layers in the model, yielding top-down image generation. A Bayesian support vector machine is linked to the top-layer features, yielding max-margin discrimination. Deep deconvolutional inference is employed when testing, to infer the latent features, and the top-layer features are connected with the max-margin classifier for discrimination tasks. The model is efficiently trained using a Monte Carlo expectation-maximization (MCEM) algorithm, with implementation on graphical processor units (GPUs) for efficient large-scale learning, and fast testing. Excellent results are obtained on several benchmark datasets, including ImageNet, demonstrating that the proposed model achieves results that are highly competitive with similarly sized convolutional neural networks.

研究の動機と目的

• 階層的畳み込み辞書学習を用いた画像のための深層生成モデルの開発。
• 従来のCNNにおけるボトムアッププーリングとは対照的に、トップダウン生成メカニズムとして確率的アンプーリングを導入すること。
• トップレイヤーの特徴量を用いてマックスマージン分類を実現するベイジアンサポートベクターマシンを、深層モデルと共同で学習させること。
• GPU加速MCEM最適化を用いて、大規模学習と高速推論を可能にすること。
• ImageNet、Caltech 101、Caltech 256といったベンチマークデータセットで最先端の性能を示すこと。

提案手法

• 各レイヤーに畳み込み辞書を備えた深層アーキテクチャを採用し、各辞書要素を学習された活性マップと空間的に畳み込むことで、入力画像を再構成する。
• 層間接続に確率的アンプーリングを用い、推論時にプールドされた特徴マップからランダムにサンプリングすることで、トップダウン生成を可能にする。
• トップレイヤーの特徴量を用いて、マックスマージン分類を実現するベイジアンSVMを、深層モデルと同時に学習する。
• モデルはモンテカルロ期待値最大化（MCEM）アルゴリズムを用いて学習され、辞書要素および分類器パラメータの点推定を採用することでスケーラビリティを確保する。
• テスト時におけるデコンボリューション推論により、潜在的特徴量を推定し、画像生成と分類を両立させる。
• MAP推定後にGibbs更新からの事後分布サンプリングを用いたモデルアveragingにより性能向上を図り、20個のサンプルを収集した。

実験結果

リサーチクエスチョン

• RQ1 畳み込み辞書学習に基づく深層生成モデルは、大規模画像データセットにおいて競争力のある分類性能を達成できるか？
• RQ2 トップダウン生成フレームワークで用いられる確率的アンプーリングは、従来のボトムアッププーリングと比較して、性能および生成品質の面でどのように差を示すか？
• RQ3 深層デコンボリューションモデルとベイジアンSVMを共同で学習させることで、分類の識別性能を向上させつつ、生成能力を維持できるか？
• RQ4 事後分布からのサンプリングによるモデルアveragingは、この深層生成フレームワークにおいて、分類精度をどの程度向上させるか？
• RQ5 ImageNetで事前学習したモデルは、Caltech 101 や Caltech 256 といったより小さなデータセットへ効果的に一般化できるか？

主な発見

• 提案手法は、最大事後確率（MAP）推定を用いて、ImageNet 2012の検証セットで16.1％のトップ5誤差を達成した。
• 20個の事後分布サンプルを用いたモデルアveragingにより、トップ5誤差は13.6％に改善され、6つの「ZF」ネットワークの組み合わせを上回った。
• Caltech 256では、トップレイヤーのベイジアンSVMをファインチューニングした結果、77.9％の最先端の精度を達成した。
• Caltech 101では93.15％の精度を達成し、空間ピラミッドマッチングと深層ネットワークを用いた最先端手法（94.11％）と競合する水準であった。
• 本モデルは強力なスケーラビリティと一般化能力を示し、約3000万パラメータの規模で、小規模および大規模データセットの両方で高い性能を発揮した。
• GPU加速MCEMの導入により、大規模な学習と高速な推論が可能となり、実世界の展開を支援した。