[论文解读] A Capacity Scaling Law for Artificial Neural Networks

Gerald Friedland, Mario Michael Krell|arXiv (Cornell University)|Aug 20, 2017

Neural Networks and Applications参考文献 35被引用 10

一句话总结

本文提出了一套理论框架，利用信息论量化前馈神经网络的信息容量，推导出两个关键容量阈值：无损记忆（LM）维数和麦凯（MK）维数。两者均与网络参数数量呈线性关系，分别提供了完美记忆化的上限和训练失败率50%的临界点，且在多种架构和学习算法下通过可重复实验得到验证。

ABSTRACT

We derive the calculation of two critical numbers predicting the behavior of perceptron networks. First, we derive the calculation of what we call the lossless memory (LM) dimension. The LM dimension is a generalization of the Vapnik--Chervonenkis (VC) dimension that avoids structured data and therefore provides an upper bound for perfectly fitting almost any training data. Second, we derive what we call the MacKay (MK) dimension. This limit indicates a 50% chance of not being able to train a given function. Our derivations are performed by embedding a neural network into Shannon's communication model which allows to interpret the two points as capacities measured in bits. We present a proof and practical experiments that validate our upper bounds with repeatable experiments using different network configurations, diverse implementations, varying activation functions, and several learning algorithms. The bottom line is that the two capacity points scale strictly linear with the number of weights. Among other practical applications, our result allows to compare and benchmark different neural network implementations independent of a concrete learning task. Our results provide insight into the capabilities and limits of neural networks and generate valuable know how for experimental design decisions.

研究动机与目标

• 建立一个超越经验观察的、用于测量人工神经网络信息容量的理论基础。
• 定义两个关键容量阈值——无损记忆（LM）维数和麦凯（MK）维数——以预测函数记忆化和训练失败的极限。
• 通过在多种网络架构、激活函数和学习算法下进行可控实验，验证这些理论边界的可靠性。
• 提供一种与任务无关的基准测试方法，用于基于内在容量比较神经网络实现。
• 将戴维·麦凯（David MacKay）早期关于容量的研究扩展至多层感知机网络，提出一种可扩展的信息论框架。

提出的方法

• 将神经网络嵌入香农通信模型，将容量解释为信息比特数。
• 通过参数空间的组合分析，将无损记忆（LM）维数定义为网络可完美记忆的最大随机标签数量。
• 基于概率边界和信息论推理，推导出麦凯（MK）维数，即训练成功率降至50%的临界点。
• 使用随机且均匀分布的输入点，以消除泛化效应，从而隔离纯粹的记忆容量。
• 应用数据处理不等式，解释为何经验LM维数通常低于理论上限。
• 通过控制变量实验验证理论预测，实验中调整网络深度、宽度、激活函数（ReLU、Sigmoid）及优化算法。

实验结果

研究问题

• RQ1 神经网络在参数数量的函数下，理论上最多能记忆多少组随机标签？
• RQ2 神经网络在何种规模下，对任意给定函数的训练失败概率达到50%？该规模如何随网络大小变化？
• RQ3 不同的激活函数和训练算法如何影响理论容量极限的经验实现？
• RQ4 理论容量边界能否作为与具体学习任务无关的通用基准，用于比较不同神经网络实现？
• RQ5 为何经验LM维数低于理论预测？数据处理不等式在这一差距中起到何种作用？

主要发现

• 无损记忆（LM）维数与网络参数数量严格呈线性关系，为完美记忆化容量提供了理论上限。
• 麦凯（MK）维数也与参数数量呈线性关系，标志着训练成功率降至50%的临界点。
• 使用ReLU、Sigmoid及其他激活函数的实验表明，LM与MK维数在不同架构和学习算法下均表现出预测的线性扩展特性。
• 经验结果表明，实际网络始终低于理论上限，LM维数通常低于预测值，这主要归因于数据处理不等式。
• 容量标度定律使神经网络实现的无任务依赖基准测试成为可能，可直接比较不同架构和训练方法下的效率与收敛性。
• 该理论框架为工程设计提供了可操作的理论上限，确保网络在给定函数类别下既不过参数化也不过参数化。