[論文レビュー] Alternating Back-Propagation for Generator Network

Tian Han, Yang Lu+2 more|arXiv (Cornell University)|Jun 28, 2016

Neural Networks and Applications被引用数 50

ひとこと要約

本稿では、潜在要因から観測値への非線形写像を畳み込みニューラルネットワーク（ConvNet）でモデル化する、因子分析の非線形一般化である生成ネットワークの学習のための交互勾配逆伝播法を提案する。この手法は、推論用の逆伝播（ラングジュアン動力学または勾配降下法による潜在要因の推定）と学習用の逆伝播（勾配降下法によるネットワーク重みの更新）を交互に繰り返すことで、完全なデータ、不完全なデータ、または間接的なデータに対しても有効に学習可能であり、自然画像、動画、音声の分野で最先端の結果を達成する。

ABSTRACT

This paper proposes an alternating back-propagation algorithm for learning the generator network model. The model is a non-linear generalization of factor analysis. In this model, the mapping from the continuous latent factors to the observed signal is parametrized by a convolutional neural network. The alternating back-propagation algorithm iterates the following two steps: (1) Inferential back-propagation, which infers the latent factors by Langevin dynamics or gradient descent. (2) Learning back-propagation, which updates the parameters given the inferred latent factors by gradient descent. The gradient computations in both steps are powered by back-propagation, and they share most of their code in common. We show that the alternating back-propagation algorithm can learn realistic generator models of natural images, video sequences, and sounds. Moreover, it can also be used to learn from incomplete or indirect training data.

研究の動機と目的

• 線形要因分析を非線形で深い生成モデルに一般化する、スケーラブルで効果的な生成ネットワークの学習アルゴリズムの開発。
• 観測値が不完全または間接的である場合に、潜在変数を有するモデルにおける学習の課題の解決。
• 推論と学習の両方を、逆伝播を用いた1つの微分可能なフレームワークに統合すること。
• 構造的で反復的な最適化プロセスを通じて、分離可能で解釈可能な表現の学習を可能にすること。
• 本手法の多様なデータモダリティ（画像、動画、音声）にわたる頑健性と一般化能力の実証。

提案手法

• 推論用の逆伝播（勾配降下法またはラングジュアン動力学による潜在要因の推定）と学習用の逆伝播（勾配降下法によるネットワーク重みの更新）の2ステップを交互に繰り返す。
• 推論ステップと学習ステップの両方で逆伝播を用いて勾配を計算し、多くの部分で同じコードと計算グラフを共有する。
• 潜在要因から観測信号への非線形写像を畳み込みニューラルネットワーク（ConvNet）でパラメータ化する。
• 説明の排除推論（explaining-away inference）を適用し、潜在要因が観測値を説明するために競合するようにすることで、不確実性下でも頑健な推論を可能にする。
• 学習ステップを、推定された要因を入力とする教師あり学習とみなす。推論ステップは最適化により解く逆問題とみなす。
• 密度シフト解釈を採用：モデルは繰り返し、真の事前分布に一致するように潜在空間におけるデータ事前分布を調整することで、効果的な生成モデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 非線形な生成ネットワークを、潜在要因から観測値への深層ConvNetベースの写像を用いて、交互勾配逆伝播法で効果的に学習できるか。
• RQ2 訓練データが不完全または間接的である場合、本手法は推論と学習をどの程度効果的に行えるか。
• RQ3 潜在空間における線形補間が意味のあるデータ生成を可能にする、分離可能で解釈可能な表現をモデルが学習できるか。
• RQ4 交互最適化フレームワークは、画像、動画、音声における複雑なデータ分布を捉える意味のある生成モデルに収束するか。
• RQ5 訓練の安定性と再構成品質の観点から、標準的なオートエンコーダーや変分オートエンコーダーの枠組みを超えて、本手法はどの程度一般化可能か。

主な発見

• 交互勾配逆伝播法は、自然画像、動画シーケンス、音声信号の両方で、リアルな生成モデルを効果的に学習した。
• 潜在要因推論における説明の排除メカニズムのおかげで、訓練データが不完全または遮蔽を含んでも、効果的な推論と学習が可能であることが示された。
• 本手法は多様なデータタイプで頑健な性能を示し、標準的なオートエンコーディングフレームワークを超えたアプローチの一般性を裏付けた。
• 推定された事後分布と真の事前分布の整合性から、潜在空間におけるデータ事前分布が真の事前分布に非常に近い近似となっていることが実証された。
• 本フレームワークは、再構成誤差がモデル性能の妥当な評価指標であることを示しながら、高品質なデータ再構成と合成を可能にした。
• 推論と学習の両ステップで逆伝播計算を共有することで、実装が効率的になり、コードの重複が削減された。