[论文解读] Information Potential Auto-Encoders

Yan Zhang, Mete Özay+2 more|arXiv (Cornell University)|Jun 14, 2017

Neural Networks and Applications参考文献 10被引用 7

一句话总结

该论文提出信息势自编码器（IPAEs），一种非参数化方法，通过在不假设参数形式的前提下估计潜在表征的熵，利用互信息正则化自编码器。与假设高斯先验并使用变分推断的变分自编码器（VAEs）不同，IPAEs 通过最小化潜在空间中的成对距离来实现压缩，从而在混合高斯等复杂分布上实现更优的表征学习。

ABSTRACT

In this paper, we suggest a framework to make use of mutual information as a regularization criterion to train Auto-Encoders (AEs). In the proposed framework, AEs are regularized by minimization of the mutual information between input and encoding variables of AEs during the training phase. In order to estimate the entropy of the encoding variables and the mutual information, we propose a non-parametric method. We also give an information theoretic view of Variational AEs (VAEs), which suggests that VAEs can be considered as parametric methods that estimate entropy. Experimental results show that the proposed non-parametric models have more degree of freedom in terms of representation learning of features drawn from complex distributions such as Mixture of Gaussians, compared to methods which estimate entropy using parametric approaches, such as Variational AEs.

研究动机与目标

• 开发一种以互信息为准则的自编码器正则化框架，以避免平凡的身份映射。
• 非参数化地估计潜在变量的熵，避免对 $ p(\mathbf{z}) $ 的参数形式（如高斯先验）施加限制性假设。
• 为变分自编码器（VAEs）提供一种信息论解释，即其为互信息最小化的一种参数化近似。
• 证明非参数化熵估计可提升学习复杂数据分布时的表征灵活性。
• 展示 IPAEs 在基准数据集上的表征质量与分类准确率优于 VAEs。

提出的方法

• 提出一种非参数化方法，用于估计潜在变量 $ H(\mathbf{z}) $ 的熵，避免对 $ p(\mathbf{z}) $ 的参数形式做假设。
• 采用基于成对距离的互信息 $ I(\mathbf{x}; \mathbf{z}) $ 近似方法，将其建模为不同输入对在潜在表征中距离之和。
• 通过在训练过程中最小化互信息，将该方法应用于自编码器，以促进压缩与解耦。
• 引入信息势类比，其中最小化互信息等价于降低潜在空间中不同数据点之间的排斥力。
• 采用重参数化技巧实现随机编码，使反向传播可通过编码器网络进行。
• 在 MNIST 实验中，使用基于伯努利分布负对数似然的重构损失函数。

实验结果

研究问题

• RQ1 与 VAE 等参数化方法相比，潜在熵的非参数化估计是否能提升自编码器的表征学习能力？
• RQ2 在潜在空间中通过成对距离最小化互信息，如何影响表征质量与泛化能力？
• RQ3 变分自编码器的信息论解释是什么？其与所提出的非参数化方法有何不同？
• RQ4 所提出的方法是否在混合高斯分布或 MNIST 数字等复杂数据分布上实现更优性能？
• RQ5 超参数 $ \beta $ 和 $ N_j $（邻居对数量）如何影响压缩与判别性表征之间的权衡？

主要发现

• IPAEs 在 MNIST 数字上实现测试分类误差 $ \mathbf{0.70 \pm 0.15} $，优于使用 $ \beta = 0.001 $ 的 VAEs（误差为 $ 0.82 \pm 0.14 $）。
• 当 $ \beta = 0.00001 $ 时，IPAEs 使用 $ N_j = 8 $ 达到最佳性能，而 $ \beta \leq 0.0001 $ 的 VAEs 因 $ \sigma^2(\mathbf{z}) $ 过大而训练失败。
• IPAEs 中增加 $ N_j $ 可提升类内紧凑性，同时不损害类间分离，保持低误差率。
• VAEs 使用较大 $ \beta $ 值时误差增加，因过度压缩导致不同类别坍缩至同一潜在点。
• 所提方法因对 $ p(\mathbf{z}) $ 的建模更具灵活性，能更好地实现复杂分布（如混合高斯分布）的表征学习。
• 信息势类比表明，VAEs 实际上将所有数据映射至单一点（如 $ \mathbf{0} $），而 IPAEs 更渐进地减少成对距离，从而保留结构。