[论文解读] A measure for the complexity of Boolean functions related to their implementation in neural networks

Leonardo Franco|arXiv (Cornell University)|Nov 9, 2001

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种基于布尔函数中输出值不同的相邻输入对数量的新型复杂度度量，该度量可直接从函数定义中计算，无需依赖具体实现。该度量与前馈神经网络中的泛化能力具有强相关性，并展现出与铁磁性能量函数的惊人类比，为分析神经网络计算能力提供了严谨的统计力学框架。

ABSTRACT

We define a measure for the complexity of Boolean functions related to their implementation in neural networks, and in particular close related to the generalization ability that could be obtained through the learning process. The measure is computed through the calculus of the number of neighbor examples that differ in their output value. Pairs of these examples have been previously shown to be part of the minimum size training set needed to obtain perfect generalization in feedforward neural networks. The main advantage of the proposed measure, in comparison to existing ones, is the way in which the measure is evaluated, as it can be computed from the definition of the function itself, independently of its implementation. The validity of the proposal is analyzed through numerical simulations performed on different feedforward neural networks architectures, and a good agreement is obtained between the predicted complexity and the generalization ability for different classes of functions. Also an interesting analogy was found between the proposed complexity measure and the energy function of ferromagnetic systems, that could be exploited, by use of the existing results and mathematical tools developed within a statistical mechanics framework, to explore in a more rigorous way the properties of Boolean functions when implemented on neural networks. We conjecture that the proposed measure could help as an useful tool for carrying a systematic study of the computational capabilities of neural networks, essentially by permitting an easy and reliable classification of Boolean functions. Possible extensions of the work are also discussed.

研究动机与目标

• 开发一种反映布尔函数在前馈神经网络中可实现性与泛化潜力的复杂度度量。
• 创建一种可直接从函数定义中计算的度量，独立于任何特定神经网络架构或实现方式。
• 建立布尔函数复杂度与神经网络训练过程中观察到的泛化能力之间的定量关联。
• 探索所提出的复杂度度量与统计力学（特别是铁磁系统）之间的联系，以利用现有理论工具。
• 基于布尔函数在神经网络环境中的计算复杂度，提供系统化的分类工具。

提出的方法

• 复杂度度量定义为在恰好一个位上不同的相邻输入对中，输出值不同的数量。
• 该度量直接从布尔函数的真值表或逻辑定义中推导得出，无需训练或网络特定参数。
• 在多种前馈神经网络架构上进行数值模拟，以评估所提度量与实际泛化性能之间的相关性。
• 理论类比指出，该复杂度度量与铁磁自旋系统的能量函数具有相似性，暗示其共享数学结构。
• 该方法使用输入空间的组合分析，统计汉明距离为1的输入之间边的转换数量。
• 在不同类别的布尔函数上测试该度量的有效性，将预测的复杂度与观察到的学习行为进行比较。

实验结果

研究问题

• RQ1 如何量化布尔函数的复杂度，以反映其在神经网络中的可学习性与泛化潜力？
• RQ2 能否直接从函数定义中推导出一种独立于神经网络架构或训练过程的复杂度度量？
• RQ3 所提出的复杂度度量与实现完美泛化所需的最小训练集大小之间存在何种关系？
• RQ4 该度量在不同类别的布尔函数中与实际泛化性能的相关性有多大？
• RQ5 所提出的度量能否与统计力学中的既定模型（如铁磁系统）相关联，以实现更深入的理论分析？

主要发现

• 在数值模拟中，所提出的复杂度度量在不同类别的布尔函数中与观察到的泛化能力表现出强烈一致性。
• 该度量可直接从函数定义中计算，因此无需预先训练或特定网络配置即可应用。
• 发现该度量与铁磁系统能量函数之间存在显著类比，暗示其具有共享的底层数学结构。
• 该度量与实现完美泛化所需的最小训练集大小相关，与先前理论研究结果一致。
• 该方法可基于布尔函数在神经网络实现中的计算复杂度，实现系统化的分类。
• 结果表明，该度量可作为前馈网络中学习难度与泛化潜力的可靠预测工具。