[論文レビュー] Smoothed analysis of algorithms

Daniel A. Spielman, Shang‐Hua Teng|ArXiv.org|Dec 1, 2002

Advanced Optimization Algorithms Research参考文献 19被引用数 67

ひとこと要約

この論文は、最悪ケースと平均ケースの分析のハイブリッドフレームワークとしてのスムージング解析を導入し、最悪ケースでは性能が悪いが実際には優れた結果を出すアルゴリズム（例えば Simplex 法）の実用的成功を説明することを目的としている。本論文では、Simplex 法が多項式スムージング複雑性を持つことを証明し、ランダムな摂動下での条件数と内点法の境界を示している。

ABSTRACT

Spielman and Teng introduced the smoothed analysis of algorithms to provide a framework in which one could explain the success in practice of algorithms and heuristics that could not be understood through the traditional worst-case and average-case analyses. In this talk, we survey some of the smoothed analyses that have been performed.

研究の動機と目的

• 最悪ケース分析の理論的枠組みとアルゴリズムの実用的性能との間のギャップを埋めること。
• 最悪ケースと平均ケース分析の長所を組み合わせた、新たな分析フレームワーク「スムージング解析」を構築すること。
• 良好な最悪ケースまたは平均ケースの境界を持たないが、実験的に成功しているアルゴリズムの理論的裏付けを提供すること。
• Simplex 法、パーセプトロンアルゴリズム、内点法などの主要なアルゴリズムのスムージング複雑性を分析すること。
• 係数に小さなランダム摂動を加えた線形計画問題の条件数を境界化することにより、内点法の複雑さの保証を向上させること。

提案手法

• 摂動の大きさ σ でパrameter化された、小さなランダム摂動の下でのすべての入力に対する期待実行時間の最大値としてスムージング複雑性を定義する。
• 入力のノルムにスケーリングされたガウス分布による摂動を用い、摂動が入力サイズに相対的になるようにする。
• シャドウ・バーテックスのピボット則を用いて Simplex 法を分析し、投影された2次元シャドウ多角形上の頂点数を境界化する。
• ランダム部分行列の逆行列に関する確率的境界を用いて、悪条件の線形計画問題が生じる可能性を制御する。
• 線形計画問題の条件数に依存する Renegar の内点法フレームワークを活用する。
• 条件数の尾部確率境界と Renegar の反復複雑性を組み合わせることで、内点法のスムージング複雑性境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 最悪ケース複雑性が悪いにもかかわらず、なぜ Simplex 法のようなアルゴリズムが実際にはうまく機能するのか？
• RQ2 最悪ケースまたは平均ケース分析では捉えきれないアルゴリズムの実用的性能を説明する理論的フレームワークを構築できるか？
• RQ3 最悪ケース入力に対して小さなランダム摂動を加えた場合の Simplex 法のスムージング複雑性は何か？
• RQ4 線形計画問題の係数に小さなランダム摂動を加えたとき、その条件数はどのように変化するか？
• RQ5 スムージング解析を用いて、実用的状況下での内点法に対して多項式時間の保証を得られるか？

主な発見

• Simplex 法は多項式スムージング複雑性を持つことが示され、その実用的効率を理解する長年の理論的ギャップが解消された。
• 小さなガウス摂動の下での Simplex 法の期待実行時間は、入力サイズと 1/σ における多項式で有界である。
• 小さなランダム摂動の下では、線形計画問題の条件数が大きくならない：Pr[C > t] ≤ O(n²d³/² / (σ²t)) · log²(1/σ²t) が高確率で成り立つ。
• 条件数の対数の期待値は O(log(nd/σ)) で有界であり、数値的安定性に対する強い確率的保証が得られる。
• Renegar の内点法は、スムージング解析の下で、期待して O(√(n+d) · log(κ/ε)) 回の反復で線形計画問題を解く。ここで κ は条件数である。
• パーセプトロンアルゴリズムに対してもスムージング解析の境界が得られ、高確率で、ガウス摂動下で O(d³n² log²(n/δ)/(δ²σ²)) 回の反復で終了する。