[论文解读] Can machine learning identify interesting mathematics? An exploration using empirically observed laws

Chai Wah Wu|arXiv (Cornell University)|May 18, 2018

Benford’s Law and Fraud Detection参考文献 13被引用 6

一句话总结

本文研究了机器学习是否能通过利用经验法则——本福德定律和泰勒定律——作为特征提取器，识别出具有数学意义的整数序列。基于40,000个OEIS序列，模型在提取的统计特征上进行训练，发现如额外树和神经网络等模型在预测'好'、'素数'和'回文'等标签时，表现优于基线方法，表明经验法则能够捕捉到数学上重要序列的关键特性。

ABSTRACT

We explore the possibility of using machine learning to identify interesting mathematical structures by using certain quantities that serve as fingerprints. In particular, we extract features from integer sequences using two empirical laws: Benford's law and Taylor's law and experiment with various classifiers to identify whether a sequence is, for example, nice, important, multiplicative, easy to compute or related to primes or palindromes.

研究动机与目标

• 探索仅使用数值特征的机器学习是否能够检测整数序列中的定性数学兴趣。
• 评估本福德定律和泰勒定律等经验观察到的规律是否可作为有效且不变的特征，用于分类数学序列。
• 评估不同分类器在从序列数据中预测主观或领域特定标签（如'好'、'核心'、'素数'）时的性能。
• 确定这些经验法则是否捕捉到数学上重要序列的内在属性。
• 探究基于数字分布的统计指纹是否可用于区分有趣与无趣的序列。

提出的方法

• 使用本福德定律从每个序列中提取14项特征：首位数频率以及观察值与预期本福德分布之间的四种统计距离（KL散度、K-S统计量、Wasserstein距离和总变差距离）。
• 应用泰勒定律计算序列项均值与方差之间的关系，通过拟合幂律来估计参数Ta和Tb。
• 使用在线整数数列百科全书（OEIS）作为包含40,000个序列的精选数据集，每个序列至少包含990项，并附有诸如'好'、'素数'、'回文'、'二项式'、'乘法'、'核心'等关键词标签。
• 在14维特征空间上训练并比较三种分类器——神经网络、随机森林和额外树，以预测序列标签。
• 使用标准指标（准确率、精确率、召回率和F1分数）评估性能，并与随机基线分类器进行比较。
• 通过检查模型是否能对训练集中未包含的相关序列（如A059259对应A059260）正确预测标签，测试其泛化能力。

实验结果

研究问题

• RQ1 本福德定律和泰勒定律等经验法则是否可作为有效、低维的特征，用于区分具有数学意义的序列与随机序列？
• RQ2 基于这些特征训练的机器学习分类器是否在预测'好'或'素数'等主观或数学标签时显著优于随机基线？
• RQ3 分类器在未显式包含于训练集中的相关序列上，其泛化能力如何，是否表明其具备模式识别能力？
• RQ4 为何'乘法'（mult）标签的性能显著更高？这是否源于数学定义本身，还是特征表示方式？
• RQ5 不同分类器（神经网络、随机森林、额外树）在各类标签上的性能指标表现如何，特别是在支持度较低的标签上？

主要发现

• 额外树分类器整体表现最佳，其次为随机森林和神经网络，三者均显著优于随机基线分类器。
• 神经网络在'好'标签上实现了完美的精确率（无假阳性），表明其对真正例具有高度置信。
• 额外树分类器在'回文'标签上实现了非平凡的精确率与召回率，而其他模型则完全失败，表明其对这一模式具有更好的敏感性。
• 所有模型在'乘法'（mult）序列上的性能均显著高于基线，表明经验法则可能捕捉到了乘法序列的结构特性。
• 模型成功预测了训练集中未包含的相关序列（如A059259和A182009）的'二项式'和'好'标签，表明其泛化能力超越了精确匹配。
• 尽管整体得分中等，结果表明经验法则编码了数学上重要序列的有意义且具有区分性的特征，即使仅使用14个特征亦然。