[论文解读] Assessing Intelligence in Artificial Neural Networks

Nicholas J. Schaub, Nathan Hotaling|arXiv (Cornell University)|Jun 3, 2020

Neural Networks and Applications参考文献 18被引用 4

一句话总结

本文引入神经效率与人工智能指数（aIQ）以评估神经网络在任务表现中对参数的利用效率。通过分析LeNet-300-100与LeNet-5网络的状态空间熵，结果表明：参数更少但aIQ更高的小型网络在75%标签随机化的情况下仍能实现92.51%的高准确率，展现出对记忆化与过拟合的强抵抗能力，其中一模型的aIQ比更大模型高出2.32%，但参数量却减少了30,912倍。

ABSTRACT

The purpose of this work was to develop of metrics to assess network architectures that balance neural network size and task performance. To this end, the concept of neural efficiency is introduced to measure neural layer utilization, and a second metric called artificial intelligence quotient (aIQ) was created to balance neural network performance and neural network efficiency. To study aIQ and neural efficiency, two simple neural networks were trained on MNIST: a fully connected network (LeNet-300-100) and a convolutional neural network (LeNet-5). The LeNet-5 network with the highest aIQ was 2.32% less accurate but contained 30,912 times fewer parameters than the highest accuracy network. Both batch normalization and dropout layers were found to increase neural efficiency. Finally, high aIQ networks are shown to be memorization and overtraining resistant, capable of learning proper digit classification with an accuracy of 92.51% even when 75% of the class labels are randomized. These results demonstrate the utility of aIQ and neural efficiency as metrics for balancing network performance and size.

研究动机与目标

• 开发兼顾神经网络性能与规模的度量指标，灵感源自人类智能中的神经效率假说。
• 解决大型神经网络效率低下问题，尽管参数量高，却常出现过拟合或记忆数据的现象。
• 构建一种超越准确率的网络智能评估框架，聚焦于参数效率与泛化能力。
• 探究更小、更高效的网络是否能与更大、过度参数化的模型性能相当甚至更优。

提出的方法

• 将神经效率定义为网络层状态空间的熵效率，通过观察到的神经元输出状态计算香农熵。
• 将神经元输出量化为二值（放电或非放电），以降低状态空间复杂度，实现可计算的熵值。
• 将人工智能指数（aIQ）定义为结合性能与神经效率的综合度量指标。
• 在MNIST数据集上训练并分析两个模型——LeNet-300-100（全连接）与LeNet-5（卷积）——以比较其效率与性能。
• 使用批量归一化与Dropout层，评估其对神经效率与aIQ的影响。
• 应用状态空间分析，推导基于数据规模与信息容量的每层神经元数量理论上限。

实验结果

研究问题

• RQ1 能否通过状态空间熵量化神经效率，以评估神经层对其参数的利用效率？
• RQ2 更高的aIQ是否与更好的泛化能力、更强的过拟合与记忆化抵抗能力相关？
• RQ3 在优化aIQ与神经效率的前提下，显著更小的网络是否能实现与更大网络相当的性能？
• RQ4 正则化技术（如Dropout与批量归一化）如何影响神经效率与aIQ？
• RQ5 基于信息论的状态空间约束，每层神经元数量的理论上限是什么？

主要发现

• aIQ最高的LeNet-5网络在75%训练标签被随机化的情况下，仍实现了92.51%的准确率，展现出对记忆化的强抵抗能力。
• aIQ最高的LeNet-5模型比准确率最高的网络低2.32%，但参数量却减少了30,912倍。
• 批量归一化与Dropout层均提升了神经效率，表明其在优化参数利用方面具有积极作用。
• 通过层状态分布熵测量的神经效率，为超越准确率的网络架构比较提供了有意义的度量指标。
• 状态空间分析表明，密集层的神经元数量不应超过ceil(log₂X)，其中X为训练样本数，暗示像AlexNet这样的网络存在严重过度参数化。
• 神经元数量的理论上限（例如，3×3灰度图像为72个神经元）表明，许多现代网络使用的参数远超必要数量，从而增加了对对抗攻击的脆弱性。