[论文解读] Algebraic Machine Learning

Fernando Martín-Maroto, Gonzalo G. de Polavieja|arXiv (Cornell University)|Mar 14, 2018

Machine Learning and Algorithms参考文献 13被引用 4

一句话总结

本文提出了一种无超参数的离散代数机器学习框架，该框架用基数最小化（即寻找表示训练数据的最小不可约代数分量集合）替代了传统的函数最小化。该方法具有良好的泛化能力，在不发生过拟合的情况下实现了高测试准确率，并在数字识别和N-八皇后问题上验证了压缩程度（原子数量越少）与误差率之间存在强烈的反比关系。

ABSTRACT

Machine learning algorithms use error function minimization to fit a large set of parameters in a preexisting model. However, error minimization eventually leads to a memorization of the training dataset, losing the ability to generalize to other datasets. To achieve generalization something else is needed, for example a regularization method or stopping the training when error in a validation dataset is minimal. Here we propose a different approach to learning and generalization that is parameter-free, fully discrete and that does not use function minimization. We use the training data to find an algebraic representation with minimal size and maximal freedom, explicitly expressed as a product of irreducible components. This algebraic representation is shown to directly generalize, giving high accuracy in test data, more so the smaller the representation. We prove that the number of generalizing representations can be very large and the algebra only needs to find one. We also derive and test a relationship between compression and error rate. We give results for a simple problem solved step by step, hand-written character recognition, and the Queens Completion problem as an example of unsupervised learning. As an alternative to statistical learning, algebraic learning may offer advantages in combining bottom-up and top-down information, formal concept derivation from data and large-scale parallelization.

研究动机与目标

• 开发一种无超参数的离散学习框架，避免统计机器学习中常见的函数最小化和过拟合问题。
• 通过将数据压缩为最小且不可约的代数分量（原子）实现泛化，而无需依赖误差最小化。
• 在理论和实证层面建立学习过程中压缩程度（原子数量）与测试误差率之间的联系。
• 在监督和无监督问题上展示该方法的有效性，包括手写数字分类和N-八皇后问题。
• 探索所学原子中的对称性，以在无需额外训练的情况下生成新解。

提出的方法

• 该方法使用扩展的半格代数表示数据和关系，将学习问题建模为寻找满足训练约束的最小不可约原子集合。
• 通过稀疏交叉操作生成候选代数解，结合原子的同时强制执行迹规则和迹约束规则。
• 通过减少操作简化表示，消除冗余原子，确保基数最小化。
• 通过无浮点数运算的随机离散算法执行原子化，避免了基于梯度方法的局部极小值问题。
• 算法采用批量训练，迭代优化原子集合，优先选择原子数量更少的解。
• 输入数据中的对称性（如图像中的行/列置换）会反映在所学原子的结构中，从而可通过对称性操作推导出新原子。

实验结果

研究问题

• RQ1 无超参数的离散代数方法是否能在不进行函数最小化或过拟合的情况下实现泛化？
• RQ2 代数表示的大小（原子数量）与最终测试误差率之间存在何种关系？
• RQ3 输入数据中的对称性如何体现在所学代数原子的结构中？
• RQ4 即使训练数据存在噪声或标签错误，代数学习是否仍能有效泛化？
• RQ5 在不进行额外训练的情况下，对称性利用能在多大程度上生成新的有效原子？

主要发现

• 测试数据的误差率与压缩率（原子数量）成反比，该关系在偶数-奇数垂直条分类任务中通过实验得到验证。
• 对于7×7和10×10的网格，考虑对称性引起的简并性后，误差与反向压缩率之间的实测比例常数分别与理论预测值相差在10%和5%以内。
• 在手写数字分类任务中，代数学习实现了约99%的准确率，且在存在标签错误的训练数据和无显式准确率目标的情况下也未发生过拟合。
• 具有泛化能力的表示数量极为庞大，但算法仅需找到一个即可，体现出强大的鲁棒性和可扩展性。
• 数据中的对称性（如行/列置换）会导致生成对称的原子，从而可通过对称性操作“免费”生成新原子，提升效率。
• 随着误差率降低，收敛趋于理论预测值，稀疏交叉算法在低误差水平下接近理论误差-压缩边界。