[论文解读] A New Perspective on Stochastic Local Search and the Lovasz Local Lemma.

Dimitris Achlioptas, Fotis Iliopoulos+1 more|arXiv (Cornell University)|May 5, 2018

Neural Networks and Applications被引用 3

一句话总结

本文提出了一种线性代数框架，通过将LLL启发的收敛性论证解释为算法矩阵的谱半径界，统一分析了随机局部搜索算法。该框架建立了一种新的重采样算法收敛条件，可避免不良状态，使顶点着色算法达到随机图中的算法阈值，并通过矩阵可交换性推广了可交换算法，从而简化了证明。

ABSTRACT

We present a new perspective on the analysis of stochastic local search algorithms via linear algebra. Our key insight is that LLL-inspired convergence arguments can be seen as a method for bounding the spectral radius of a matrix specifying the algorithm to be analyzed. Armed with this viewpoint we give a unified analysis of all \emph{entropy compression} applications, connecting backtracking algorithms to the LLL in the same fashion that existing analyses connect resampling algorithms to the LLL. We then give a new convergence condition that seamlessly handles resampling algorithms that can detect, and back away from, unfavorable parts of the state space. We give several applications of this condition, notably a new vertex coloring algorithm for arbitrary graphs that uses a number of colors that matches the algorithmic barrier for random graphs. Finally, we introduce a generalization of Kolmogorov's notion of \emph{commutative} algorithms, cast as matrix commutativity, which affords much simpler proofs both of the original results and of recent extensions.

研究动机与目标

• 通过基于谱半径界的线性代数视角，统一分析随机局部搜索算法。
• 利用基于矩阵的收敛性论证，将洛瓦兹局部引理（LLL）框架扩展至回溯与重采样算法。
• 提出一种新收敛条件，使算法能够检测并避开状态空间中的不利区域。
• 提出一种适用于任意图的顶点着色算法，其使用的颜色数与随机图中的算法阈值一致。
• 通过矩阵可交换性推广科莫戈罗夫的可交换算法概念，简化现有及近期结果的证明。

提出的方法

• 将随机局部搜索算法建模为矩阵，其谱半径决定收敛性，借鉴LLL启发的论证。
• 利用矩阵谱半径界，在单一LLL基础框架下统一分析重采样与回溯算法。
• 引入一种新收敛条件，将重采样算法中的状态空间回避行为纳入考量。
• 将该框架应用于设计适用于任意图的顶点着色算法，其颜色数与随机图中的算法阈值一致。
• 通过矩阵可交换性推广可交换算法，实现对原始与扩展结果的更简证明。
• 利用线性代数工具重新推导并简化现有的熵压缩与LLL基础分析。

实验结果

研究问题

• RQ1 如何通过线性代数系统地将洛瓦兹局部引理与回溯及重采样随机局部搜索算法联系起来？
• RQ2 当算法能够检测并避开不良状态时，算法矩阵的何种谱条件可确保收敛？
• RQ3 能否为任意图设计一种顶点着色算法，使其颜色数与随机图中观察到的阈值一致？
• RQ4 矩阵可交换性如何推广科莫戈罗夫的可交换算法概念，其对证明简化有何影响？
• RQ5 能否基于谱半径界构建一个统一框架，统一熵压缩与LLL基础收敛性分析？

主要发现

• 本文为能够检测并避开不良状态的重采样算法建立了新收敛条件，从而实现了更优的算法保证。
• 为任意图开发了一种顶点着色算法，其使用的颜色数与随机图中观察到的算法屏障一致。
• 该框架通过将收敛性解释为算法矩阵中的谱半径控制，统一了熵压缩与LLL基础分析。
• 矩阵可交换性推广了科莫戈罗夫的可交换算法，显著简化了原始与近期结果的证明。
• 谱半径方法提供了一种系统且统一的方法，用于分析多种随机局部搜索算法。
• 该方法通过利用线性代数结构，推导出更紧致且更通用的收敛条件。