[论文解读] Generalization-Memorization Machines

Zhen Wang, Yuan‐Hai Shao|arXiv (Cornell University)|Jul 8, 2022

Neural Networks and Applications被引用 5

一句话总结

本文提出了一种新型机制——泛化-记忆机器（GMM），通过引入记忆损失函数和记忆影响函数，增强机器学习模型在不发生过拟合的情况下记忆训练数据的能力。该方法在硬GMM（HGMM）中实现零经验风险，在软GMM（SGMM）中于标签噪声下表现出具有竞争力的泛化性能。两种模型均被形式化为高效的二次规划问题，并将近期提出的SVMm作为特例推广。

ABSTRACT

Classifying the training data correctly without over-fitting is one of the goals in machine learning. In this paper, we propose a generalization-memorization mechanism, including a generalization-memorization decision and a memory modeling principle. Under this mechanism, error-based learning machines improve their memorization abilities of training data without over-fitting. Specifically, the generalization-memorization machines (GMM) are proposed by applying this mechanism. The optimization problems in GMM are quadratic programming problems and could be solved efficiently. It should be noted that the recently proposed generalization-memorization kernel and the corresponding support vector machines are the special cases of our GMM. Experimental results show the effectiveness of the proposed GMM both on memorization and generalization.

研究动机与目标

• 解决在不损害泛化性能的前提下实现机器学习模型零经验风险的挑战。
• 开发一种适用于核模型与非核模型的通用机制，以平衡记忆与泛化。
• 提出一种基于记忆损失函数和影响函数的新决策框架，引导模型学习实现最优权衡。
• 展示所提出的GMM相较于现有模型的优越性，尤其在标签噪声条件下。
• 建立硬版本（HGMM）实现零经验风险的理论条件，并提供实际中可用的充分条件。

提出的方法

• 基于一种新型决策规则，提出一种泛化-记忆机制，通过引入记忆损失函数以增强对训练数据的记忆能力。
• 引入记忆影响函数，控制记忆对泛化的影响，从而保持模型的鲁棒性。
• 提出两种变体：硬GMM（HGMM）通过确保所有训练样本被正确分类来强制实现零经验风险；软GMM（SGMM）则放松此约束以适应噪声数据。
• 将优化问题建模为二次规划，确保计算效率与标准SVM相当。
• 证明了泛化-记忆核与SVMm是所提出的SGMM框架的特例。
• 通过记忆损失函数与影响函数的几何解释，阐明核设计在平衡记忆与泛化中的作用。

实验结果

研究问题

• RQ1 能否设计一种统一机制，同时提升机器学习模型的记忆与泛化能力？
• RQ2 在何种条件下可确保模型实现零经验风险而不发生过拟合？
• RQ3 如何构建记忆影响函数，以在增强记忆能力的同时保持泛化性能？
• RQ4 在标签噪声条件下，所提出的GMM相较于SVMm与标准SVM的性能优势有多大？
• RQ5 该泛化-记忆机制是否可推广至核模型之外，包括非核误差驱动模型？

主要发现

• 当满足零训练误差的必要与充分条件时，硬GMM（HGMM）可实现零经验风险，且为实际应用提供了实用的充分条件。
• 软GMM（SGMM）对标签噪声表现出卓越的鲁棒性，在15个基准数据集中的14个上实现了最高测试准确率，尤其在't'数据集上达到88.29% ± 1.01的性能。
• SGMM在所有测试的噪声设置下均优于SVMm，证实所提框架在泛化能力上优于先前工作。
• SVMm被正式证明是所提SGMM的特例，验证了新框架的更广泛适用性。
• HGMM在所有数据集上均保持100%的训练准确率，而SVM1等其他模型则无法达到此水平，表明其记忆能力显著更强。
• 该方法在问题规模与计算复杂度方面与标准SVM保持一致，确保了可扩展性与实际部署可行性。