[论文解读] Discrete symbolic optimization and Boltzmann sampling by continuous neural dynamics: Gradient Symbolic Computation

Paul Tupper, Paul Smolensky+1 more|arXiv (Cornell University)|Jan 4, 2018

Neural Networks and Applications参考文献 32被引用 3

一句话总结

本文提出梯度符号计算（GSC），这是一种在连续向量空间中演化的神经可塑性连续随机动力系统，通过调节时变参数——系统分辨率 $q$ 和温度 $T$——实现离散符号优化与玻尔兹曼采样。证明了在恰当调度下，该动力系统以高概率收敛至全局最大和谐符号结构，为神经符号统一提供了理论基础。

ABSTRACT

Gradient Symbolic Computation is proposed as a means of solving discrete global optimization problems using a neurally plausible continuous stochastic dynamical system. Gradient symbolic dynamics involves two free parameters that must be adjusted as a function of time to obtain the global maximizer at the end of the computation. We provide a summary of what is known about the GSC dynamics for special cases of settings of the parameters, and also establish that there is a schedule for the two parameters for which convergence to the correct answer occurs with high probability. These results put the empirical results already obtained for GSC on a sound theoretical footing.

研究动机与目标

• 为利用连续神经动力学求解离散全局优化与概率采样，提供一个理论基础坚实的框架。
• 以神经上合理且与认知科学兼容的方式，统一符号计算与神经网络动力学。
• 证明特定的两个自由参数（$q$ 和 $T$）调度方案可确保以高概率收敛至正确解。
• 为先前关于 GSC 的实证研究结果（尤其在和谐语法与最大熵模型背景下）提供理论延伸支持。
• 为结合符号推理与连续神经处理的可解释人工智能系统奠定数学基础。

提出的方法

• 该框架基于实向量空间上的连续随机动力系统，将离散符号结构嵌入为分布式向量。
• 和谐度（Harmony, $H$）在符号与神经两个层面均有定义，其中向量的神经层和谐度对应其嵌入结构的符号层和谐度。
• 引入离散和谐函数 $H$ 的平滑连续近似 $\mathcal{H}_q$，其分辨率由参数 $q$ 控制。
• 系统通过模拟退火过程演化，其中温度 $T(t)$ 随时间递减，且 $q$ 被调整以细化优化景观的分辨率。
• 收敛性通过概率界进行分析：系统必须以大于 $1-\epsilon$ 的概率达到距离真实全局最大值不超过 $\eta$ 的状态。
• 理论分析推导出 $T(t)$ 的冷却调度方案以及基于全局最大值与次高和谐值之间差距 $g$ 所需的 $q$ 值。

实验结果

研究问题

• RQ1 连续神经动力系统能否在保持符号可解释性的同时，可靠地求解离散全局优化问题？
• RQ2 分辨率（$q$）与温度（$T$）的何种参数调度可确保 GSC 以高概率收敛至全局最大值？
• RQ3 收敛时间如何随期望精度（$\eta$）与置信水平（$\epsilon$）变化？
• RQ4 GSC 框架能否在理论层面同时支持确定性优化与概率性玻尔兹曼采样？
• RQ5 和谐值差距 $g$ 与收敛所需计算时间之间存在何种关系？

主要发现

• 在 $q$ 与 $T$ 参数被适当地调度时，GSC 动力系统以任意接近于 1 的概率收敛至和谐函数的全局最大值。
• 所需分辨率 $q$ 的尺度为 $\max(g^{-1}, \eta^{-1})$，其中 $g$ 为全局最大值与次高和谐值之间的差距，$\eta$ 为期望精度。
• 最终温度 $T_{\text{end}}$ 必须处于 $g / \log(\epsilon^{-1})$ 的数量级，以确保处于正确解附近的概率超过 $1 - \epsilon$。
• 总计算时间大致按 $\exp[\max(g^{-1}, \eta^{-1}) \cdot \log(\epsilon^{-1}) / g]$ 的速率增长，当 $g \gg \eta$ 时，该表达式简化为 $\epsilon^{-\eta^{-1}}$。
• 理论分析证实，系统可实现对正确符号结构的高概率收敛，验证了先前工作的实证结果。
• 本文指出，未来研究中更高效的 $q$ 与 $T$ 调度策略（如随时间递增 $q$ 同时冷却 $T$）仍为开放问题。