[論文レビュー] Smoothed Analysis of Algorithms: Why the Simplex Algorithm Usually Takes Polynomial Time

Daniel A. Spielman, Shang‐Hua Teng|arXiv (Cornell University)|Nov 19, 2001

Advanced Optimization Algorithms Research参考文献 33被引用数 52

ひとこと要約

本論文は、最悪ケース解析と平均ケース解析のハイブリッドフレームワークとしてのスムージング解析を導入し、線形計画法におけるシンプレックス法に適用している。入力に小さなランダムな摂動を加えた場合、シンプレックス法の期待実行時間が多項式時間で収束することを証明しており、理論的最悪ケースの境界と実際の性能の間にある長年の矛盾を解消している。

ABSTRACT

We introduce the smoothed analysis of algorithms, which is a hybrid of the worst-case and average-case analysis of algorithms. In smoothed analysis, we measure the maximum over inputs of the expected performance of an algorithm under small random perturbations of that input. We measure this performance in terms of both the input size and the magnitude of the perturbations. We show that the simplex algorithm has polynomial smoothed complexity.

研究の動機と目的

• シンプレックス法の最悪ケースで指数的複雑性を示す一方で、実際には一貫して良好な性能を示すという、理論的・実践的性能の乖離を解消すること。
• 入力が一様にランダムであると仮定する平均ケース解析の限界を克服し、現実のデータとは一致しない可能性があること。
• 最悪ケースの入力に対して小さなランダム摂動を加えた場合のアルゴリズム性能を評価する、新たな分析枠組み「スムージング解析」を構築すること。
• シンプレックス法に多項式スムージング複雑性を確立し、摂動が加わった場合に悪意ある入力に対しても通常は効率的に動作することを示すこと。

提案手法

• スムージング解析を、入力のすべての組み合わせについて、その入力に小さなガウス分布による摂動を加えた場合の期待実行時間の最大値として定義する。
• 目的関数の影を実行可能多面体に沿って追跡する「シャドウ頂点法」——シンプレックス法の一種——を適用する。
• ベクトル間の距離と角度の境界を用いた幾何学的・確率的ツールを用いて、影のパスのサイズを評価する。
• 変数変換とヤコビアン行列式を用いて、摂動を加えた制約行列の確率密度を分析する。
• ガウス分布の性質と尾部確率の境界を活用し、悪条件または退化したインスタンスが発生する可能性を制御する。
• 2段階の解析を行う：初期基底を探索するフェーズと、目的関数を最適化するフェーズで、それぞれのステップ数の期待値を境界づける。

実験結果

リサーチクエスチョン

• RQ1 なぜシンプレックス法は、指数的最悪ケース複雑性を持つにもかかわらず、実際には良好に動作するのか？
• RQ2 現実のデータとは一致しない不切実な平均ケース仮定に依存せずに、シンプレックスのようなアルゴリズムの実用的効率性を説明する理論的枠組みを構築できるか？
• RQ3 入力データに小さなランダム摂動を加えた場合、シンプレックス法は多項式時間の期待実行時間を有するか？
• RQ4 スムージング解析は、線形計画法における退化や悪条件性をどのように扱うか？
• RQ5 スムージング複雑性は、最悪ケース性能が悪いが実務では良好な性能を示す他のアルゴリズムへ拡張可能か？

主な発見

• シンプレックス法は、入力サイズおよびガウス摂動の標準偏差に関して多項式スムージング複雑性を有する。
• シャドウ頂点法におけるピボットステップの期待数は、変数および制約の数、および摂動の標準偏差の逆数に関して多項式的に境界づけられる。
• 小さな摂動のもとで、影のパスが非常に長い（収束が遅い）線形計画問題に遭遇する確率は、指数的に小さくなる。
• 退化は、複数の基底が同じ頂点に対応する場合でも、シャドウ頂点法が影に沿って進捗を示し続けるため、アルゴリズムの進行を妨げない。
• 実行可能集合が低次元のアフィン部分空間上にある退化したケースに対しても、解析は有効である。ただし、摂動がアフィン包を保つ限り有効である。
• 相対的スムージング複雑性は未解決の問題であるが、適切な摂動モデルのもとで、シンプレックス法も多項式的相対的スムージング複雑性を有する可能性があるというフレームワークの示唆がある。