[论文解读] Exponential Capacity in an Autoencoder Neural Network with a Hidden Layer

Alireza Alemi, Alia Abbara|arXiv (Cornell University)|May 21, 2017

Neural Networks and Applications被引用 4

一句话总结

本文通过解析方法证明，当扩展比例（隐藏单元数/输入单元数）增加时，具有随机固定编码权重矩阵和可学习解码权重的二值自编码器神经网络可实现指数级存储容量。利用平均场近似和Gardner的副本方法，研究表明即使在不同稀疏度下，容量仍呈指数增长，且副本对称解被证明在局部稳定，并与模拟结果一致。

ABSTRACT

A fundamental aspect of limitations in learning any computation in neural architectures is characterizing their optimal capacities. An important, widely-used neural architecture is known as autoencoders where the network reconstructs the input at the output layer via a representation at a hidden layer. Even though capacities of several neural architectures have been addressed using statistical physics methods, the capacity of autoencoder neural networks is not well-explored. Here, we analytically show that an autoencoder network of binary neurons with a hidden layer can achieve a capacity that grows exponentially with network size. The network has fixed random weights encoding a set of dense input patterns into a dense, expanded (or \emph{overcomplete}) hidden layer representation. A set of learnable weights decodes the input patters at the output layer. We perform a mean-field approximation of the model to reduce the model to a perceptron problem with an input-output dependency. Carrying out Gardner's \emph{replica} calculation, we show that as the expansion ratio, defined as the number of hidden units over the number of input units, increases, the autoencoding capacity grows exponentially even when the sparseness or the coding level of the hidden layer representation is changed. The replica-symmetric solution is locally stable and is in good agreement with simulation results obtained using a local learning rule. In addition, the degree of symmetry between the encoding and decoding weights monotonically increases with the expansion ratio.

研究动机与目标

• 使用统计物理方法表征具有隐藏层的二值自编码器神经网络的存储容量。
• 确定容量是否随网络规模呈指数增长，特别是作为扩展比例（隐藏单元数/输入单元数）的函数。
• 研究隐藏表示的稀疏度以及编码与解码权重之间对称性对容量的影响。
• 通过基于局部学习规则的模拟验证理论预测。

提出的方法

• 作者应用平均场近似（MFA）将自编码器简化为具有输入-输出依赖关系的有效感知机问题。
• 他们使用Gardner的副本方法计算 quenched 自由能，并在热力学极限下推导临界容量。
• 通过计算与序参量相关的Hessian矩阵的特征值，分析副本对称解的稳定性。
• 该模型假设使用符号激活函数的二值神经元，且编码权重为独立同分布的随机矩阵，而解码权重则被训练以重建输入。
• 通过调整感知机问题中的阈值参数，考虑隐藏表示中不同稀疏度水平的影响。
• 通过计算单个输入位翻转引起的隐藏单元期望变化，初步评估输入噪声的鲁棒性。

实验结果

研究问题

• RQ1 具有固定随机编码器和可学习解码器的自编码器，其存储容量是否随扩展比例呈指数增长？
• RQ2 隐藏表示的稀疏度如何影响可存储模式的最大数量？
• RQ3 在热力学极限下，容量的副本对称解是否稳定？
• RQ4 随着扩展比例的增加，编码与解码权重之间的对称性在多大程度上增强？
• RQ5 输入噪声（例如单比特翻转）如何影响网络的重建性能？

主要发现

• 即使隐藏表示稀疏，自编码器的容量仍随扩展比例呈指数增长，该结论由副本计算证实。
• 临界容量 αc 随比值 N_h / N_v（即扩展比例）呈指数增长，表明存储容量显著提升。
• 副本对称解在局部稳定，由鞍点处Hessian矩阵两个主导特征值乘积为负所证实。
• 编码与解码权重之间的对称性程度随扩展比例单调增加，表明过完备性下权重共享性能改善。
• 基于局部学习规则的模拟结果与理论预测高度一致，验证了平均场与副本近似的有效性。
• 通过调节阈值参数可实现对输入噪声的鲁棒性，但会略微降低最大容量，表明鲁棒性与容量之间存在权衡。