[论文解读] Conservativeness of untied auto-encoders

Daniel Jiwoong Im, Mohamed Ishmael Belghazi+1 more|arXiv (Cornell University)|Jun 25, 2015

Neural Networks and Applications参考文献 7被引用 4

一句话总结

本文建立了无权共享自编码器定义保守向量场的必要且充分条件，从而能够构建类似于未归一化对数似然的能量函数。研究发现，保守性取决于重构雅可比矩阵的对称性，且去噪训练在局部强制满足该条件，使得无权共享自编码器即使在无权共享的情况下也能提取向量场的保守分量。

ABSTRACT

We discuss necessary and sufficient conditions for an auto-encoder to define a conservative vector field, in which case it is associated with an energy function akin to the unnormalized log-probability of the data. We show that the conditions for conservativeness are more general than for encoder and decoder weights to be the same ("tied weights"), and that they also depend on the form of the hidden unit activation function, but that contractive training criteria, such as denoising, will enforce these conditions locally. Based on these observations, we show how we can use auto-encoders to extract the conservative component of a vector field.

研究动机与目标

• 确定无权共享自编码器定义保守向量场的必要且充分条件。
• 阐明在无权共享情况下，权共享是否为自编码器拥有相关能量函数所必需。
• 探究为何在训练过程中编码器与解码器权重通常趋于相似，尽管它们并未绑定。
• 开发一种利用自编码器提取向量场保守分量的方法。
• 将自编码器与概率模型之间的理论联系从权共享架构扩展至更一般情形。

提出的方法

• 本文推导出：当且仅当其重构雅可比矩阵 ∂r(x)/∂x 在单连通域 K 上对称时，自编码器才是保守的。
• 通过微分形式与外微分几何方法，证明与自编码器向量场相关的1-形式是恰当的（即保守的），当且仅当雅可比矩阵对称。
• 推导依赖于庞加莱定理，即在单连通域中，闭形式（dα = 0）是恰当的。
• 条件 dα = 0 被证明等价于雅可比矩阵的对称性：对所有 i, j，有 ∂r_i/∂x_j = ∂r_j/∂x_i。
• 该方法可通过积分保守向量场 r(x) − x = ∇F(x) 恢复能量函数 F(x)，即使权重无共享。
• 在 MNIST 数据集上的实验验证表明，去噪自编码器在训练数据附近逐渐学习到更保守的向量场。

实验结果

研究问题

• RQ1 在何种条件下，无权共享自编码器定义保守向量场？
• RQ2 自编码器拥有相关能量函数是否必须进行权共享初始化？
• RQ3 为何无权共享自编码器中的编码器与解码器权重在训练过程中常趋于相似？
• RQ4 能否利用自编码器提取一般向量场的保守分量？
• RQ5 去噪训练如何在数据流形附近局部强制实现保守性？

主要发现

• 自编码器为保守的必要且充分条件是：其重构雅可比矩阵在单连通域内所有 x 处对称。
• 权共享是保守性的充分条件但非必要条件；关键因素是雅可比矩阵的对称性，即使无权共享也能自然出现。
• 如收缩性训练准则（如去噪）在数据流形附近强制实现雅可比矩阵对称性，从而促进保守性。
• 本文证明，无权共享自编码器可提取向量场的保守分量，表现为能量函数对原始 MNIST 数据点的偏好随训练增强。
• 平均而言，无权共享自编码器训练出的保守向量场的势能函数对原始数据点的偏好高于被破坏的数据点，其值从 F=0 时的 0.5072 上升至 F=K 时的 0.9968。
• 具有 Sigmoid 单元的权共享自编码器的能量函数在数学上等价于高斯 RBM 的自由能，确认了这两类模型之间存在深层联系。