[论文解读] Circuit-Based Intrinsic Methods to Detect Overfitting

Satrajit Chatterjee, Alan Mishchenko|arXiv (Cornell University)|Jul 3, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用 6

一句话总结

本文提出反事实模拟（CFS），一种内在方法族，通过分析模型的逻辑电路表示中训练样本的流动来检测过拟合。通过在这些电路中扰动稀有模式，CFS 在无需超参数或测试数据的情况下识别过拟合，揭示了随机梯度下降避免了暴力记忆化，而是学习常见模式——这与随机森林的泛化行为类似，解释了神经网络的泛化机制。

ABSTRACT

The focus of this paper is on intrinsic methods to detect overfitting. By intrinsic methods, we mean methods that rely only on the model and the training data, as opposed to traditional methods (we call them extrinsic methods) that rely on performance on a test set or on bounds from model complexity. We propose a family of intrinsic methods, called Counterfactual Simulation (CFS), which analyze the flow of training examples through the model by identifying and perturbing rare patterns. By applying CFS to logic circuits we get a method that has no hyper-parameters and works uniformly across different types of models such as neural networks, random forests and lookup tables. Experimentally, CFS can separate models with different levels of overfit using only their logic circuit representations without any access to the high level structure. By comparing lookup tables, neural networks, and random forests using CFS, we get insight into why neural networks generalize. In particular, we find that stochastic gradient descent in neural nets does not lead to "brute force" memorization, but finds common patterns (whether we train with actual or randomized labels), and neural networks are not unlike forests in this regard. Finally, we identify a limitation with our proposal that makes it unsuitable in an adversarial setting, but points the way to future work on robust intrinsic methods.

研究动机与目标

• 开发仅依赖模型和训练数据的内在方法，以检测过拟合，而无需依赖测试集或复杂度界。
• 解决在外包数据可能受损的低数据场景和对抗性设置下，外在方法的局限性。
• 通过分析其内部信号流动，揭示神经网络为何在高容量下仍能泛化。
• 评估内在方法能否区分神经网络、随机森林和查找表等模型的记忆化与泛化行为。
• 探索内在检测方法在对抗性噪声下的鲁棒性，并为未来更鲁棒的内在方法指明方向。

提出的方法

• CFS 通过模拟反事实来分析模型行为：在逻辑电路层面注入小范围、有针对性的噪声，以观察输出行为的变化。
• 该方法作用于模型的逻辑电路表示，抽象掉高层架构（如权重、层）以聚焦于信号级模式。
• 输入模式的稀有性在信号或门扇入级别进行度量；对稀有模式进行扰动以评估其敏感性，从而指示过拟合。
• 简单 CFS 变体采用无超参数的全范围噪声注入，实现对各类模型的统一应用。
• 复合 CFS 将稀有性扩展至信号组，实现对结构化信号模式中过拟合的检测。
• 全局稀有性通过在电路中传播出现次数来定义，从而提供更严格的模式稀少性度量。

实验结果

研究问题

• RQ1 内在方法能否在无测试数据或模型复杂度界的情况下检测过拟合？
• RQ2 即使标签被随机化，神经网络中的随机梯度下降是否导致暴力记忆化，还是更倾向于基于模式的学习？
• RQ3 在针对噪声和模式稀有性的抵抗能力方面，神经网络与随机森林和查找表相比如何？
• RQ4 逻辑电路层面的分析能否揭示独立于模型架构的泛化行为？
• RQ5 CFS 在对抗性场景下的局限性是什么？全局稀有性度量能否克服这些局限？

主要发现

• CFS 仅使用模型的逻辑电路表示，无需访问模型结构或测试数据，即可成功检测神经网络、随机森林和查找表中的过拟合。
• 使用随机梯度下降训练的神经网络即使在标签被随机化时也未表现出暴力记忆化，表明其采用基于模式的学习方式。
• 与神经网络相比，随机森林对噪声的抵抗能力约强 1,000 倍，表明其在不可靠硬件环境中的更高鲁棒性。
• 该方法揭示，神经网络和随机森林均学习常见模式而非记忆稀有模式，从而解释了其泛化行为。
• CFS 中的全局稀有性度量提升了对随机森林中过拟合的检测能力，可能缓解针对该方法的对抗性攻击。
• 附录提出了相干梯度理论，将泛化与跨样本共享的梯度分量联系起来，为泛化与记忆化提供了统一解释。