[论文解读] An Atypical Survey of Typical-Case Heuristic Algorithms

Lane A. Hemaspaandra, Ryan K. Williams|arXiv (Cornell University)|Oct 30, 2012

Complexity and Algorithms in Graphs参考文献 2被引用 19

一句话总结

本文研究了启发式算法在NP难问题上的理论极限，表明若能实现高正确率（例如仅在多项式数量的输入上出错），将意味着NP = P，这在复杂性理论中极不可能发生。此外，本文探讨了确定性启发式算法在随机计算环境中的高频率成功可能性，并分析了小后门集等结构性质如何解释实际启发式算法的成功。

ABSTRACT

Heuristic approaches often do so well that they seem to pretty much always give the right answer. How close can heuristic algorithms get to always giving the right answer, without inducing seismic complexity-theoretic consequences? This article first discusses how a series of results by Berman, Buhrman, Hartmanis, Homer, Longpré, Ogiwara, Schöening, and Watanabe, from the early 1970s through the early 1990s, explicitly or implicitly limited how well heuristic algorithms can do on NP-hard problems. In particular, many desirable levels of heuristic success cannot be obtained unless severe, highly unlikely complexity class collapses occur. Second, we survey work initiated by Goldreich and Wigderson, who showed how under plausible assumptions deterministic heuristics for randomized computation can achieve a very high frequency of correctness. Finally, we consider formal ways in which theory can help explain the effectiveness of heuristics that solve NP-hard problems in practice.

研究动机与目标

• 理解针对NP难问题、在几乎所有输入上均正确的启发式算法的根本理论边界。
• 检验在不引发灾难性复杂性理论后果的前提下，NP难问题的启发式算法是否可能实现高频率正确性。
• 研究确定性启发式算法如何在可随机求解的问题（如P与BPP）中实现高正确率频率。
• 通过小后门集等结构性质，解释启发式算法在解决实际NP难实例时的实证成功。
• 探讨实际实例是否本质上具有可压缩性，从而通过小后门集实现高效解法路径。

提出的方法

• 分析1970至1990年代的复杂性理论成果（如Berman、Hartmanis、Ogiwara、Watanabe等人的工作），表明在NP难问题上实现高启发式成功率将意味着NP = P。
• 回顾关于BPP问题中确定性启发式算法的研究成果，表明在合理假设下，可在几乎所有输入上实现正确性，仅在极小比例输入上出错。
• 引入后门集（小变量集合）的概念——其赋值可使子问题变为可 tractable，作为启发式成功的一种结构性解释。
• 将简洁SAT假说与小后门集的存在联系起来，暗示公式及其满足赋值具有可压缩性。
• 利用DPLL和分支限界框架，建模浅层搜索树如何产生解，解释为何重启机制与启发式策略在实践中表现优异。
• 提出实际问题结构源于软硬件中的设计模式，导致实例具有可压缩性与丰富的后门集。

实验结果

研究问题

• RQ1 NP难问题的启发式算法是否可能在除多项式数量输入外的所有输入上正确，而不会导致NP = P？
• RQ2 在何种条件下，确定性启发式算法可在随机计算问题（如BPP问题）中实现高正确率频率？
• RQ3 为何实际SAT求解器在面对最坏情况下的NP难性时，仍能对实际实例表现出极佳的成功率？
• RQ4 小后门集在多大程度上解释了现代SAT求解器在实际公式上的有效性？
• RQ5 实际实例的可压缩性（如通过小后门集）是否源于其在结构化设计过程中的起源？

主要发现

• 在NP难问题上，若启发式算法对除多项式数量输入外的所有输入均正确，则意味着NP = P，这一结果被认为极不可能成立。
• 在合理假设下，可构造BPP问题的启发式算法，使其在几乎所有输入上正确，仅在可忽略的极小比例输入上出错，支持P = BPP的猜想。
• 小后门集——其赋值可使子问题变为可 tractable 的变量子集——解释了DPLL求解器配合重启机制为何能在实际SAT实例中成功。
• SAT求解器的实证成功与小后门集的存在密切相关，而小后门集在随机3-CNF公式中极为罕见（以高概率大小为Ω(n)）。
• 小后门集的存在表明实际公式具有可压缩性且非随机，暗示实际问题实例中存在结构性规律。
• 理论模型表明，小后门集可能源于软硬件中的人类设计模式，导致实例具有可压缩性与结构性。