[論文レビュー] Learning Generative ConvNet with Continuous Latent Factors by Alternating Back-Propagation.

Tian Han, Yang Lu+2 more|arXiv (Cornell University)|Jun 28, 2016

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 4

ひとこと要約

本稿では、連続的潜在要因を伴う生成的ConvNetの学習のための交互勾配逆伝播アルゴリズムを提案する。潜在変数の推論とパラメータ更新の両方が逆伝播を用いて行われる。本手法は、反復的な推論と学習の逆伝播ステップを統合的に最適化することで、現実的な画像および音声の生成を達成する。

ABSTRACT

The supervised learning of the discriminative convolutional neural network (ConvNet) is powered by back-propagation on the parameters. In this paper, we show that the unsupervised learning of a popular top-down generative ConvNet model with latent continuous factors can be accomplished by a learning algorithm that consists of alternatively performing back-propagation on both the latent factors and the parameters. The model is a non-linear generalization of factor analysis, where the high-dimensional observed data, is assumed to be the noisy version of a vector generated by a non-linear transformation of a low-dimensional vector of continuous latent factors. Furthermore, it is assumed that these latent factors follow known independent distributions, such as standard normal distributions, and the non-linear transformation is assumed to be parametrized by a top-down ConvNet, which is capable of approximating the highly non-linear mapping from the latent factors to the image. We explore a simple and natural learning algorithm for this model that alternates between the following two steps: (1) inferring the latent factors by Langevin dynamics or gradient descent, and (2) updating the parameters of the ConvNet by gradient descent. Step (1) is based on the gradient of the reconstruction error with respect to the latent factors, which is available by back-propagation. We call this step inferential back-propagation. Step (2) is based on the gradient of the reconstruction error with respect to the parameters, and is also obtained by back-propagation. We refer to this step as learning back-propagation. The code for inferential back-propagation is actually part of the code for learning back-propagation, and thus the inferential back-propagation is actually a by-product of the learning back-propagation. We show that our algorithm can learn realistic generative models of images and sounds.

研究の動機と目的

• 高次元データを低次元の連続的潜在要因の非線形変換としてモデル化する教師なし学習アルゴリズムを開発すること。
• 潜在空間から観測データへの複雑で非線形な写像を持つ上向き生成モデルの学習の課題に対処すること。
• 潜在要因の推論とパrameter最適化を交互に繰り返すことで、エンドツーエンド学習を可能にすること。
• 同一フレームワーク内で逆伝播を用いてパrameter学習だけでなく潜在変数の推論も行える統合的枠組みの実現を目的とする。

提案手法

• 観測データは、連続的潜在要因の非線形変換のノイズ版であると仮定し、変換は上向きConvNetでパラメータ化される。
• 潜在要因は、潜在変数に関する再構成誤差勾配に基づくラングヴィンダイナミクスまたは勾配降下法を用いて推論され、これを推論的逆伝播（inferential back-propagation）と呼ぶ。
• モデルパラメータは、標準的な逆伝播を用いた再構成誤差に関する勾配降下法により更新され、これを学習的逆伝播（learning back-propagation）と呼ぶ。
• アルゴリズムは、推論的逆伝播（潜在要因の更新）と学習的逆伝播（モデルパラメータの更新）を交互に実行し、共有された計算グラフを活用する。
• 推論的逆伝播は、学習的逆伝播の計算グラフの副産物として実装され、効率的な共同最適化を可能にする。
• 深層ConvNetを用いて潜在要因からデータへの非線形写像をモデル化することで、確率的PCAを非線形設定に一般化する。

実験結果

リサーチクエスチョン

• RQ1 生成的ConvNetモデルにおいて、逆伝播をモデルパラメータの範囲を越えて、潜在変数の推論にも効果的に拡張できるか？
• RQ2 既存手法と比較して、交互勾配逆伝播アルゴリズムは、画像および音声の現実的な生成モデルをどの程度効果的に学習できるか？
• RQ3 連続的潜在要因は、非線形生成モデルにおける高精度な再構成と生成を可能にする役割を果たすか？
• RQ4 同じ逆伝播フレームワークを、パラメータ学習と潜在要因の推論の両方の目的に使用でき、別々の実装を必要としないか？
• RQ5 再構成品質の観点から、標準的な変分推論や他の深層生成モデルと比較して、交互アルゴリズムの性能はどの程度か？

主な発見

• 提案された交互勾配逆伝播アルゴリズムは、連続的潜在要因を伴う生成的ConvNetモデルを効果的に学習し、高品質な画像および音声の生成を可能にする。
• 学習的逆伝播と同じ計算グラフから導出される推論的逆伝播により、効率的かつ微分可能な潜在要因の推論が実現される。
• 反復的な精錬を通じて、潜在要因とモデルパラメータを共同最適化することにより、現実的なサンプル生成が達成される。
• アルゴリズムは、逆伝播を潜在変数の推論へ自然に拡張できることを示し、実装を簡略化するとともに、学習効率を向上させる。
• 上向きConvNetのおかげで非線形写像の能力が向上し、線形要因分析を超える複雑なデータ分布を捉えることができる。
• 本フレームワークは、画像および音声データの両方の生成をサポートしており、モダリティを問わず広範な応用性を示している。