[論文レビュー] Smoothed Analysis of Interior-Point Algorithms: Condition Number

John Dunagan, Daniel A. Spielman+1 more|ArXiv.org|Feb 10, 2003

Computational Geometry and Mesh Generation参考文献 28被引用数 4

ひとこと要約

本稿は、線形計画法におけるRenegarの条件数の滑らか化解析を行い、分散σ²のガウスノイズによる摂動のもとで、条件数の期待対数がO(log(nd/σ))であることを示した。これにより、内点法の滑らか化複雑度がO(n³ log(nd/σ))であることが導かれ、実用的効率が、最悪ケースの多項式境界をはるかに上回ることを説明する。

ABSTRACT

We show that the smoothed complexity of the logarithm of Renegar's condition number is O(log (n/sigma)).

研究の動機と目的

• 内点法の悪い最悪ケース複雑度とその強力な実用的性能の間の乖離を説明すること。
• 線形計画法におけるRenegarの条件数に、小さな確率的摂動（滑らか化解析）が与える影響を分析すること。
• 条件数に依存する内点法の滑らか化複雑度境界を導出すること。
• 入力をフロベニウスノルム≤1に正規化し、摂動分散σ²≤1/(dn)の下で、条件数の期待対数がO(log(nd/σ))であることを示すこと。

提案手法

• 入力(A, b, c)にi.i.d.ガウスノイズ（分散σ²）を摂動することにより、Renegarの条件数に滑らか化解析を適用する。
• 集中不等式（例：ガウス尾部バウンド）を用いて、摂動された要素が名目値から著しく逸脱する確率を抑え込む。
• 摂動下で条件数が指数的に小さくなる「困難な例」を構築し、境界のタイトネスを証明する。
• Renegarの内点法の反復回数を、条件数の対数に結びつける。これはO(√n log(C/ε))のスケーリングを示す。
• 滑らか化条件数境界と既存の有限終了解析を組み合わせることで、正確解を求める滑らか化複雑度がO(n³ log(nd/σ))であることを得る。
• 入力を||(A, b, c)||_F ≤ 1に正規化し、小さな摂動下での挙動を分析することで、主要な対数境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 入力データに小さなガウス摂動を加えたとき、Renegarの条件数の対数の期待値は何か？
• RQ2 内点法の滑らか化複雑度は、線形計画問題の条件数の関数として境界づけられるか？
• RQ3 入力がわずかに摂動された場合、線形計画法の滑らか化複雑度は最悪ケースの境界と比べてどうなるか？
• RQ4 最悪ケース境界が大きくても、内点法に対して多項式滑らか化複雑度境界を達成することは可能か？
• RQ5 滑らか化解析における最適化アルゴリズムの性能の代理として、条件数を用いることは可能か？

主な発見

• 任意のn×d線形計画問題について、入力のフロベニウスノルム≤1、ガウス摂動分散σ²≤1/√(dn)の下で、Renegarの条件数の期待対数はO(log(nd/σ))で有界である。
• 相対的精度εで解く場合、Renegarの内点法の滑らか化複雑度はO(n³ log(nd/σε))である。
• 有限終了解析と組み合わせることで、正確解を得るための滑らか化複雑度はO(n³ log(nd/σ))である。
• 境界がタイトであることは、摂動下で条件数が指数的に小さくなる入力が存在することから示され、しかし滑らか化下ではそのようなケースはまれである。
• この結果により、内点法の実用的効率（最悪ケースのO(n³L)複雑度よりも著しく優れている）が説明される。
• この解析は、条件数に依存する他のアルゴリズムにも拡張可能であり、数値最適化における広範な適用可能性を示唆する。