[論文レビュー] An Atypical Survey of Typical-Case Heuristic Algorithms

Lane A. Hemaspaandra, Ryan K. Williams|arXiv (Cornell University)|Oct 30, 2012

Complexity and Algorithms in Graphs参考文献 2被引用数 19

ひとこと要約

この論文は、NP困難問題に対するヒューリスティックアルゴリズムの理論的限界を調査し、高頻度の正答性（たとえば、多項式個の入力での誤差のみ）を達成することは、NP = P を意味する可能性があると示している。これは極めて不自然な複雑性理論的崩壊である。さらに、決定的ヒューリスティックが確率的計算の文脈で高頻度に成功できる仕組みを検討し、実用的ヒューリスティックの成功を説明する構造的性質（たとえば、小さなバックドア集合）を検討している。

ABSTRACT

Heuristic approaches often do so well that they seem to pretty much always give the right answer. How close can heuristic algorithms get to always giving the right answer, without inducing seismic complexity-theoretic consequences? This article first discusses how a series of results by Berman, Buhrman, Hartmanis, Homer, Longpré, Ogiwara, Schöening, and Watanabe, from the early 1970s through the early 1990s, explicitly or implicitly limited how well heuristic algorithms can do on NP-hard problems. In particular, many desirable levels of heuristic success cannot be obtained unless severe, highly unlikely complexity class collapses occur. Second, we survey work initiated by Goldreich and Wigderson, who showed how under plausible assumptions deterministic heuristics for randomized computation can achieve a very high frequency of correctness. Finally, we consider formal ways in which theory can help explain the effectiveness of heuristics that solve NP-hard problems in practice.

研究の動機と目的

• NP困難問題に対してほとんどすべての入力で正しいとされるヒューリスティックアルゴリズムの根本的な理論的境界を理解すること。
• NP困難問題におけるヒューリスティックの高頻度正答性が、壊滅的な複雑性理論的結果を引き起こさずに可能かどうかを検討すること。
• P vs. BPP のような確率的計算で解ける問題において、決定的ヒューリスティックがどのように高頻度の正答性を達成できるかを調査すること。
• DPLL や分枝限定法のようなフレームワークを用いて、浅い探索木が解を導く仕組みを示し、実世界のNP困難インスタンスにおけるヒューリスティックの実証的成功を構造的性質（たとえば、小さなバックドア集合）で説明すること。
• 実世界のインスタンスが本質的に可換であり、小さなバックドア集合を通じて効率的な解法パスが得られることを探索すること。

提案手法

• 1970年代から1990年代の複雑性理論的結果（Berman, Hartmanis, Ogiwara, Watanabe 他）を分析し、NP困難問題における高いヒューリスティックの正答性が NP = P を意味することを示している。
• BPP 問題に対する決定的ヒューリスティックに関する結果をレビューし、妥当な仮定の下で、すべての入力のわずかな少数を除き正しく動作するヒューリスティックが構築可能であることを示している。
• バックドア集合（その代入によって部分問題が tractable になる変数の小さな集合）の概念を導入し、ヒューリスティックの成功を構造的に説明する。
• 短絡的SAT仮説（Succinct SAT Thesis）と小さなバックドア集合の存在を結びつけ、論理式とその充足割り当ての可換性を示唆している。
• DPLL および分枝限定法のフレームワークを用いて、浅い探索木が解を導く仕組みをモデル化し、リスタートやヒューリスティックがなぜ実際の現場でうまく機能するかを説明している。
• 実世界の構造は、ソフトウェア／ハードウェアにおける設計パターンから生じ、可換でバックドアを多く含むインスタンスを生み出すと提唱している。

実験結果

リサーチクエスチョン

• RQ1 NP困難問題に対するヒューリスティックアルゴリズムが、多項式個の入力を除き正しく動作させることは、NP = P を意味する可能性があるか？
• RQ2 決定的ヒューリスティックが、確率的計算（例：BPP 問題）において高頻度の正答性を達成できる条件は何か？
• RQ3 最悪計算量がNP困難であるにもかかわらず、実世界のSATソルバがなぜこれほどうまく機能するのか？
• RQ4 小さなバックドア集合が、実世界の論理式における現代のSATソルバの有効性をどの程度説明できるか？
• RQ5 実世界のインスタンスの可換性（例：小さなバックドアを通じて）は、構造的設計プロセスに起因するものだろうか？

主な発見

• NP困難問題に対して、多項式個の入力を除き正しく動作するヒューリスティックを達成することは、NP = P を意味する。これは極めて不自然な結果と見なされている。
• BPP 問題に対するヒューリスティックは、妥当な仮定の下で、すべての入力のわずかな少数を除き正しく動作するように構築可能であり、P = BPP の予想を支持している。
• 小さなバックドア集合（その代入によって部分問題が tractable になる変数の集合）は、リスタート付きDPLLソルバが実世界のSATインスタンスで成功する理由を説明する。
• 実世界のSATソルバの実証的正答性は、小さなバックドア集合の存在と相関しており、ランダムな3-CNF論理式ではそのような集合は非常にまれ（高確率でサイズ Ω(n)）である。
• 小さなバックドア集合の存在は、実世界の論理式が可換であり、非ランダムであることを示唆しており、実世界の問題インスタンスに構造的規則性があることを示している。
• 理論的モデルは、小さなバックドア集合が、ソフトウェアやハードウェアにおける人間の設計パターンから生じ、可換で構造的なインスタンスを生み出す可能性を示唆している。