[论文解读] Constructions in combinatorics via neural networks

Adam Zsolt Wagner|arXiv (Cornell University)|Apr 29, 2021

Advanced Graph Theory Research参考文献 48被引用 15

一句话总结

本论文表明，强化学习，特别是深度交叉熵方法，可以在没有先验问题知识的情况下，自动发现极值组合数学与图论中的显式反例和新构造。通过自我对弈和迭代优化，该方法训练神经网络以优化特定问题的评分函数，成功推翻了多个开放猜想，包括关于避免模式的矩阵永久值以及图的特征值性质的猜想。

ABSTRACT

We demonstrate how by using a reinforcement learning algorithm, the deep cross-entropy method, one can find explicit constructions and counterexamples to several open conjectures in extremal combinatorics and graph theory. Amongst the conjectures we refute are a question of Brualdi and Cao about maximizing permanents of pattern avoiding matrices, and several problems related to the adjacency and distance eigenvalues of graphs.

研究动机与目标

• 探索强化学习是否能自动发现组合数学与图论中开放猜想的显式反例。
• 将深度交叉熵方法应用于极值组合数学问题，且不依赖于底层数学结构的先验知识。
• 证明神经网络在寻找非平凡组合对象方面可超越传统编程或手工构造方法。
• 通过学习到的构造方法推翻图谱理论、矩阵永久值和集合系统中的特定猜想。
• 展示同一强化学习框架仅通过更改奖励函数即可适配不同数学问题。

提出的方法

• 使用深度交叉熵方法作为强化学习算法，训练神经网络逐步生成组合对象（如图、矩阵）。
• 每个构造通过特定问题的评分函数进行评估，仅在完整构造后提供稀疏反馈，模拟具有延迟奖励的‘游戏’。
• 该智能体通过从种群中选择得分最高的构造，并利用交叉熵优化更新网络权重，实现策略的迭代改进。
• 该方法适用于动作空间较小的问题，如逐条边构建图或逐个选择二值矩阵的元素。
• 对于部分问题，结合线性规划求解器以验证或扩展结果，尤其适用于可表示为线性规划的问题。
• 该框架具有模块化特性：仅需重新定义奖励函数即可针对不同猜想，实现广泛适用性。

实验结果

研究问题

• RQ1 在无任何先验问题知识的前提下，强化学习能否发现极值组合数学中开放猜想的显式反例？
• RQ2 深度交叉熵方法能否高效优化具有大动作空间和稀疏奖励的组合优化问题？
• RQ3 是否存在在图论和矩阵组合数学中难以手工发现但可通过强化学习发现的非平凡构造？
• RQ4 基于强化学习的方法能否推翻关于特征值、永久值和集合系统的猜想？
• RQ5 弱交叉相交集合系统的最大大小是多少？强化学习能否帮助确定其渐近行为？

主要发现

• 本论文推翻了Brualdi与Cao关于312模式避免的二值矩阵最大永久值的猜想，表明当n ≤ 8时，最优值为1, 2, 4, 8, 16, 32, 64, 120。
• 发现了一个关于图的最大特征值与匹配数之和的猜想的反例，展示了超过预测边界的构造。
• 推翻了Aouchiche与Hansen关于图的距离谱与接近度的猜想，提供了违反所提议不等式的构造。
• 解决了Hogben与Reinhart提出的一个开放问题，表明传输正则性在距离拉普拉斯同谱性下不被保持。
• 构造了一个反例，推翻了关于超立方体子集用超平面覆盖的猜想，表明{0,1}^6去掉一个2维子空间后可用四个超平面覆盖，与预期相反。
• 发现了一个大小为146的(4,4)-集合系统，超过2×(8 choose 4) = 140，从而推翻了g(a,b) < 2×(a+b choose b)的猜想。