[论文解读] Alternating Back-Propagation for Generator Network

Tian Han, Yang Lu+2 more|arXiv (Cornell University)|Jun 28, 2016

Neural Networks and Applications被引用 50

一句话总结

本文提出一种用于训练生成器网络的交替反向传播算法，该算法是非线性因子分析的推广，其中从潜在因子到观测值的映射由卷积神经网络建模。该方法在推断反向传播（通过朗之万动力学或梯度下降推断潜在因子）和学习反向传播（通过梯度下降更新网络权重）之间交替进行，能够在完整、不完整或间接数据上实现有效训练，并在自然图像、视频和音频任务上取得最先进性能。

ABSTRACT

This paper proposes an alternating back-propagation algorithm for learning the generator network model. The model is a non-linear generalization of factor analysis. In this model, the mapping from the continuous latent factors to the observed signal is parametrized by a convolutional neural network. The alternating back-propagation algorithm iterates the following two steps: (1) Inferential back-propagation, which infers the latent factors by Langevin dynamics or gradient descent. (2) Learning back-propagation, which updates the parameters given the inferred latent factors by gradient descent. The gradient computations in both steps are powered by back-propagation, and they share most of their code in common. We show that the alternating back-propagation algorithm can learn realistic generator models of natural images, video sequences, and sounds. Moreover, it can also be used to learn from incomplete or indirect training data.

研究动机与目标

• 开发一种可扩展且高效的生成器网络训练算法，将线性因子分析推广至非线性、深度生成模型。
• 解决在观测数据不完整或间接时，具有潜在变量模型的学习挑战。
• 通过在两个步骤中均使用反向传播，将推断与学习统一为一个可微分的框架。
• 通过结构化、迭代的优化过程，实现解耦且可解释的表征。
• 在包括图像、视频和音频在内的多种数据模态上，展示该方法的鲁棒性与泛化能力。

提出的方法

• 在两个步骤之间交替进行：推断反向传播（通过梯度下降或朗之万动力学推断潜在因子）和学习反向传播（通过梯度下降更新网络权重）。
• 在推断和学习两个步骤中均利用反向传播进行梯度计算，共享大部分底层代码和计算图。
• 使用卷积神经网络（ConvNet）对从潜在因子到观测信号的非线性映射进行参数化。
• 应用“解释排除”推断机制，即潜在因子竞争解释每个观测值，从而在不确定性下实现鲁棒推断。
• 将学习步骤视为给定推断因子的监督学习，将推断步骤视为通过优化求解的逆问题。
• 采用密度偏移解释：模型在潜在空间中迭代调整数据先验以匹配真实先验，从而实现有效的生成建模。

实验结果

研究问题

• RQ1 交替反向传播算法能否有效训练基于深度ConvNet的非线性生成器网络，实现从潜在因子到观测值的映射？
• RQ2 当训练数据不完整或间接时，该方法在推断与学习方面表现如何？
• RQ3 该模型能否学习到解耦且可解释的表征，从而支持潜在空间中的线性插值以实现有意义的数据生成？
• RQ4 该交替优化框架是否能收敛到一个有意义的生成器模型，从而捕捉图像、视频和音频中复杂的数据分布？
• RQ5 与标准自编码器或变分自编码器相比，该方法在训练稳定性与重建质量方面的泛化能力在多大程度上更优？

主要发现

• 交替反向传播算法成功学习到自然图像、视频序列和音频信号的逼真生成器模型。
• 由于潜在因子推断中采用了解释排除机制，即使在训练数据不完整或存在遮挡的情况下，该方法仍能实现有效的推断与学习。
• 该算法在多种数据类型上表现出稳健性能，表明该方法的通用性超越了标准自编码框架。
• 模型在潜在空间中学习到的数据先验与真实先验高度接近，推断后验分布与真实先验分布的一致性可作为证据。
• 该框架能够实现高质量的数据重建与生成，重建误差可作为模型性能的有效评估指标。
• 推断与学习步骤之间共享反向传播计算，实现了高效的实现并减少了代码重复。