[论文解读] Smoothed analysis of algorithms

Daniel A. Spielman, Shang‐Hua Teng|ArXiv.org|Dec 1, 2002

Advanced Optimization Algorithms Research参考文献 19被引用 67

一句话总结

本文引入了平滑分析（smoothed analysis）作为一种介于最坏情况分析与平均情况分析之间的混合框架，用以解释像单纯形法这类算法在实践中表现优异的原因，尽管其在最坏情况下的表现较差。该文证明了单纯形法具有多项式平滑复杂度，并在随机扰动下给出了条件数和内点法的界。

ABSTRACT

Spielman and Teng introduced the smoothed analysis of algorithms to provide a framework in which one could explain the success in practice of algorithms and heuristics that could not be understood through the traditional worst-case and average-case analyses. In this talk, we survey some of the smoothed analyses that have been performed.

研究动机与目标

• 解决理论最坏情况分析与像单纯形法这类算法实际性能之间的差距。
• 开发一种新的分析框架——平滑分析，结合最坏情况分析与平均情况分析的优势。
• 为缺乏良好最坏情况或平均情况界但实际表现优异的算法提供理论依据。
• 分析关键算法（包括单纯形法、感知机算法和内点法）的平滑复杂度。
• 在系数受到小随机扰动时，对线性规划的条件数进行上界估计，从而为内点法提供改进的复杂度保证。

提出的方法

• 将平滑复杂度定义为：在所有输入下，经由小幅度随机扰动后的最大期望运行时间，其参数为扰动幅度 σ。
• 使用按输入范数缩放的高斯扰动，以确保扰动与输入大小成比例。
• 通过影子顶点枢轴规则分析单纯形法，通过投影到二维影子多边形上的顶点数来控制其复杂度。
• 利用随机子矩阵逆矩阵的概率界，控制病态线性规划出现的可能性。
• 采用 Renegar 的内点法框架，该框架依赖于线性规划的条件数。
• 将条件数的尾部概率界与 Renegar 的迭代复杂度相结合，推导出内点法的平滑复杂度界。

实验结果

研究问题

• RQ1 为何像单纯形法这样的算法在实际中表现良好，尽管其最坏情况复杂度较差？
• RQ2 能否构建一种理论框架，解释那些未被最坏情况或平均情况分析捕捉到实际性能的算法？
• RQ3 在最坏情况输入的小随机扰动下，单纯形法的平滑复杂度是多少？
• RQ4 线性规划的条件数在系数受到小随机扰动时如何变化？
• RQ5 平滑分析能否用于为内点法在实践中提供多项式时间保证？

主要发现

• 单纯形法具有多项式平滑复杂度，解决了长期存在的理论空白，解释了其实际效率的根源。
• 在小幅度高斯扰动下，单纯形法的期望运行时间被有界于输入规模和 1/σ 的多项式范围内。
• 在小随机扰动下，线性规划的条件数不太可能很大：Pr[C > t] ≤ O(n²d³/² / (σ²t)) · log²(1/σ²t)，以高概率成立。
• 条件数的期望对数被有界于 O(log(nd/σ))，为数值稳定性提供了强有力的概率保证。
• 在平滑分析下，Renegar 的内点法可在期望 O(√(n+d) · log(κ/ε)) 次迭代内求解线性规划，其中 κ 为条件数。
• 感知机算法也获得了平滑分析界：以高概率，其在高斯扰动下于 O(d³n² log²(n/δ)/(δ²σ²)) 次迭代内终止。