[论文解读] Variational Walkback: Learning a Transition Operator as a Stochastic Recurrent Net

Anirudh Goyal, Nan Rosemary Ke+2 more|PolyPublie (École Polytechnique de Montréal)|Nov 7, 2017

Gaussian Processes and Bayesian Inference参考文献 30被引用 12

一句话总结

本文提出了变分回溯（Variational Walkback, VW），一种直接学习随机转移算子的方法，该算子以循环神经网络的形式实现，无需依赖能量模型或细致平衡条件，即可生成高质量样本。通过利用变分下界，使算子从噪声化、加热的轨迹中‘回溯’至原始数据点进行训练，VW 学习到非平衡稳态分布，从而实现更符合生物学机制的非对称网络结构，并在 MNIST、CIFAR-10、SVHN 和 CelebA 数据集上实现超越训练轨迹长度的优越采样质量。

ABSTRACT

We propose a novel method to directly learn a stochastic transition operator whose repeated application provides generated samples. Traditional undirected graphical models approach this problem indirectly by learning a Markov chain model whose stationary distribution obeys detailed balance with respect to a parameterized energy function. The energy function is then modified so the model and data distributions match, with no guarantee on the number of steps required for the Markov chain to converge. Moreover, the detailed balance condition is highly restrictive: energy based models corresponding to neural networks must have symmetric weights, unlike biological neural circuits. In contrast, we develop a method for directly learning arbitrarily parameterized transition operators capable of expressing non-equilibrium stationary distributions that violate detailed balance, thereby enabling us to learn more biologically plausible asymmetric neural networks and more general non-energy based dynamical systems. The proposed training objective, which we derive via principled variational methods, encourages the transition operator to "walk back" in multi-step trajectories that start at data-points, as quickly as possible back to the original data points. We present a series of experimental results illustrating the soundness of the proposed approach, Variational Walkback (VW), on the MNIST, CIFAR-10, SVHN and CelebA datasets, demonstrating superior samples compared to earlier attempts to learn a transition operator. We also show that although each rapid training trajectory is limited to a finite but variable number of steps, our transition operator continues to generate good samples well past the length of such trajectories, thereby demonstrating the match of its non-equilibrium stationary distribution to the data distribution. Source Code: http://github.com/anirudh9119/walkback_nips17

研究动机与目标

• 解决缺乏直接学习不依赖能量函数或细致平衡条件的随机转移算子的方法的问题。
• 实现非平衡、非对称循环网络的训练，使其更符合生物神经动力学特性。
• 克服能量模型的局限性，如对称权重约束和马尔可夫链收敛缓慢的问题。
• 提出一个合理的训练目标，促使模型能够将多步噪声化轨迹逆向恢复至数据点。
• 证明有限时间的训练过程可产生具备长期生成能力、与数据分布匹配的转移算子。

提出的方法

• 该方法训练一个随机循环网络作为转移算子，将当前状态映射为下一状态的分布。
• 利用变分下界推导出一个合理的训练目标，促使模型从加热的轨迹中回溯至原始数据点。
• 通过在从数据点出发的前向轨迹中逐步增加噪声（温度）引入加热过程，模拟破坏性过程。
• 利用反向冷却过程训练模型，使其生成能够恢复原始数据的轨迹，类比去噪自编码器。
• 训练过程优化可变长度轨迹上的变分下界，支持灵活且非平衡的动力学行为。
• 该方法避免了对称权重的需求，使更符合生物学机制的网络结构成为可能。

实验结果

研究问题

• RQ1 我们能否在不依赖能量函数或细致平衡条件的前提下，直接训练随机转移算子？
• RQ2 在可变长度轨迹上进行有限时间训练，是否能获得一个在训练轨迹长度之外仍能生成高质量样本的转移算子？
• RQ3 由于不强制细致平衡，是否能提升循环网络中生成动力学的表达能力与生物合理性？
• RQ4 回溯目标是否能有效塑造非平衡稳态分布，使其与数据分布相匹配？
• RQ5 与先前方法相比，该方法在采样质量和模型灵活性方面表现如何？

主要发现

• 所提出的变分回溯（VW）方法在 MNIST、CIFAR-10、SVHN 和 CelebA 数据集上生成的样本质量优于以往学习转移算子的尝试。
• 尽管在可变步数的有限长度轨迹上进行训练，所学习到的转移算子仍能持续生成远超训练轨迹长度的高质量样本。
• 该方法成功学习到与数据分布匹配的非平衡稳态分布，且无需细致平衡或对称权重。
• 训练目标有效促使模型逆向恢复噪声化、加热的轨迹，展现出在生成动力学中具备鲁棒性与泛化能力。
• 该方法支持使用非对称、符合生物学机制的神经网络结构，避免了权重对称性或权重传输的需求。
• 该方法与神经生物学机制存在合理类比：睡眠（破坏性加热）与清醒（生成性冷却）对应，STDP 与反向 STDP 在突触更新中起关键作用。