[論文レビュー] Variational Walkback: Learning a Transition Operator as a Stochastic Recurrent Net

Anirudh Goyal, Nan Rosemary Ke+2 more|PolyPublie (École Polytechnique de Montréal)|Nov 7, 2017

Gaussian Processes and Bayesian Inference参考文献 30被引用数 12

ひとこと要約

本稿では、エネルギー関数や詳細釣合条件に依存せずに、高品質なサンプルを生成するための確率的遷移作用素を直接学習するための Variational Walkback (VW) を提案する。ノイズが多く、加熱された軌道から元のデータポイントへと「戻る」ように作用素を訓練することで、変分下界を用い、非平衡定常分布を学習する。これにより、生物学的に妥当な非対称ネットワークと、MNIST、CIFAR-10、SVHN、CelebA における優れたサンプル品質が実現され、学習軌道長をはるかに超えて長期間の生成能力を発揮する。

ABSTRACT

We propose a novel method to directly learn a stochastic transition operator whose repeated application provides generated samples. Traditional undirected graphical models approach this problem indirectly by learning a Markov chain model whose stationary distribution obeys detailed balance with respect to a parameterized energy function. The energy function is then modified so the model and data distributions match, with no guarantee on the number of steps required for the Markov chain to converge. Moreover, the detailed balance condition is highly restrictive: energy based models corresponding to neural networks must have symmetric weights, unlike biological neural circuits. In contrast, we develop a method for directly learning arbitrarily parameterized transition operators capable of expressing non-equilibrium stationary distributions that violate detailed balance, thereby enabling us to learn more biologically plausible asymmetric neural networks and more general non-energy based dynamical systems. The proposed training objective, which we derive via principled variational methods, encourages the transition operator to "walk back" in multi-step trajectories that start at data-points, as quickly as possible back to the original data points. We present a series of experimental results illustrating the soundness of the proposed approach, Variational Walkback (VW), on the MNIST, CIFAR-10, SVHN and CelebA datasets, demonstrating superior samples compared to earlier attempts to learn a transition operator. We also show that although each rapid training trajectory is limited to a finite but variable number of steps, our transition operator continues to generate good samples well past the length of such trajectories, thereby demonstrating the match of its non-equilibrium stationary distribution to the data distribution. Source Code: http://github.com/anirudh9119/walkback_nips17

研究の動機と目的

• エネルギー関数や詳細釣合条件に依存しない、確率的遷移作用素を直接学習する手法の不足を解消すること。
• 生物学的神経動態をよりよく反映する非平衡的・非対称な再帰的ネットワークの学習を可能にすること。
• 対称的重み制約やマルコフ連鎖の収束遅延といった、エネルギー関数モデルの制限を克服すること。
• ノイズが多く、複数ステップにわたる軌道を元のデータポイントへと戻すことを促進する、整合的な訓練目的を構築すること。
• 有限時間の訓練によって、学習軌道長をはるかに超えてデータ分布と一致する長期的生成能力を持つ遷移作用素を獲得できることを示すこと。

提案手法

• 本手法は、現在の状態を次状態の分布へ写像する確率的再帰的ネットワークを訓練し、遷移作用素として機能させる。
• 変分下界を用いて、ノイズが多く加熱された軌道から元のデータポイントへと「戻る」ことを促進する整合的な目的関数を導出する。
• データポイントから出発する前方軌道において、ノイズ（温度）を増加させることで加熱を導入し、破壊的プロセスを模倣する。
• 逆方向の冷却プロセスを用いて、元のデータを回復する軌道を生成するようモデルを訓練し、ノイズ除去オートエンコーダを模倣する。
• 変動長の軌道上で変分下界を最適化する訓練手順を採用することで、柔軟で非平衡的ダイナミクスを実現する。
• 対称的重みの必要性を回避でき、より生物学的に妥当なネットワークアーキテクチャの実現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エネルギー関数や詳細釣合条件に依存せずに、確率的遷移作用素を直接学習することは可能か？
• RQ2 変動長の軌道上で有限時間の訓練を実施しても、学習軌道長をはるかに超えて高品質なサンプルを生成できる遷移作用素が得られるか？
• RQ3 詳細釣合条件の欠如により、再帰的ネットワークにおけるより表現力があり、生物学的に妥当な生成ダイナミクスが実現可能か？
• RQ4 ウォークバック目的関数は、データ分布と一致する非平衡定常分布を効果的に形状づけるか？
• RQ5 サンプル品質とモデルの柔軟性の観点から、先行手法と比較して本手法はどのように優れているか？

主な発見

• 提案された変分ウォークバック（VW）手法は、MNIST、CIFAR-10、SVHN、CelebA データセットにおいて、遷移作用素を学習する先行試みと比較して優れたサンプルを生成する。
• 変動ステップ数を持つ有限長の軌道で学習したにもかかわらず、学習軌道長をはるかに超えて、高品質なサンプルを継続的に生成できる。
• 詳細釣合条件や対称的重みを必要とせず、データ分布と一致する非平衡定常分布を効果的に学習する。
• 訓練目的がノイズが多く加熱された軌道を元の状態へと戻すのを効果的に促進しており、生成ダイナミクスにおける頑健性と一般化能力を示している。
• 非対称的で生物学的に妥当なニューラルネットワークの使用を可能にし、重みの対称性や重み伝達の必要性を回避できる。
• 睡眠（破壊的加熱）と覚醒（生成的冷却）の神経生物学的類似性が示され、STDP および逆方向 STDP がシナプス更新の主要な役割を果たす。