[論文レビュー] Faster Convex Optimization: Simulated Annealing with an Efficient Universal Barrier

Jacob Abernethy, Elad Hazan|arXiv (Cornell University)|Jul 9, 2015

Stochastic Gradient Optimization Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、エントロピー的普遍バリアを用いて、模擬アニーリングと内点法の根本的同等性を確立し、メンバー shipped オракルを介した凸最適化のための高速なランダム化アルゴリズムを可能にした。ネステロフとネミロフスキーの中心路フレームワークを活用することで、著者らは実行時間を Õ(√ν n⁴) に改善し、特に半正定値計画法において ν = n であるため、n の平方根の要因で従来の最先端技術を上回った。

ABSTRACT

This paper explores a surprising equivalence between two seemingly-distinct convex optimization methods. We show that simulated annealing, a well-studied random walk algorithms, is directly equivalent, in a certain sense, to the central path interior point algorithm for the the entropic universal barrier function. This connection exhibits several benefits. First, we are able improve the state of the art time complexity for convex optimization under the membership oracle model. We improve the analysis of the randomized algorithm of Kalai and Vempala by utilizing tools developed by Nesterov and Nemirovskii that underly the central path following interior point algorithm. We are able to tighten the temperature schedule for simulated annealing which gives an improved running time, reducing by square root of the dimension in certain instances. Second, we get an efficient randomized interior point method with an efficiently computable universal barrier for any convex set described by a membership oracle. Previously, efficiently computable barriers were known only for particular convex sets.

研究の動機と目的

• 凸最適化における模擬アニーリングと内点法の理論的同等性を確立すること。
• 任意の凸集合に対して、メンバー shipped オライクルを介してアクセス可能な効率的に計算可能な普遍バリアを有するランダム化内点法を開発すること。
• メンバー shipped オライクルモデルにおける凸最適化アルゴリズムの実行時間を、模擬アニーリングの温度スケジュールを精緻化することで改善すること。
• 双対錐上で対数モーメント生成関数のフェンヒェル共役から導かれるエントロピー的バリアが、近似的に最適なパrameter ν ≤ n(1+o(1)) を持つ O(n)-自己調和バリアであることを示すこと。

提案手法

• 温度を低下させるに従い、模擬アニーリングの分布の平均として定義される熱路を定義し、それがエントロピー的普遍バリアを用いた内点法の中心路と一致することを示す。
• ネステロフとネミロフスキーの中心路フレームワークのツールを用いて、模擬アニーリングにおける温度スケジュールを分析・精緻化する。
• 双対錐上での対数モーメント生成関数のフェンヒェル共役として定義されるエントロピー的バリアを用いて、任意の凸集合に対する効率的な計算可能な普遍バリアを構築する。
• エントロピー的バリアがパrameter ν ≤ n(1+o(1)) を持つ自己調和バリアであることを示し、非負の直交錐やローレンツ錐などの主要な錐に対して既知の最適バリアと定数倍の差異で一致することを示す。
• エントロピー的バリアを用いた中心路追跡法が、模擬アニーリングの1次近似であることを証明し、両手法を正式に結びつける。
• 改善された温度スケジュールを適用して、新しいランダム化アルゴリズムを導出し、実行時間を Õ(√ν n⁴) に改善した。

実験結果

リサーチクエスチョン

• RQ1 凸最適化において、模擬アニーリングと内点法の間には根本的な同等性が存在するか？
• RQ2 メンバー shipped オライクル下で、エントロピー的バリアを任意の凸集合に対して効率的に計算可能な普遍バリアとして用いることができるか？
• RQ3 内点法理論を活用することで、模擬アニーリングの温度スケジュールを改善し、収束速度を向上させることができるか？
• RQ4 エントロピー的バリアの自己調和パrameter ν は何か？ また、代表的な凸集合（例：非負直交錐、ローレンツ錐）における既知の最適バリアと比較するとどうなるか？
• RQ5 改善されたアニーリングスケジュールは、メンバー shipped オライクルモデルにおいて、実際により速い実行時間を達成するか？

主な発見

• 模擬アニーリングの熱路は、エントロピー的普遍バリアを用いた内点法の中心路と完全に一致し、両手法の深い同等性を確立した。
• エントロピー的バリアはパrameter ν ≤ n(1+o(1)) を持つ自己調和バリアであり、双対錐上での対数モーメント生成関数のフェンヒェル共役を介して効率的に計算可能である。
• 正定値錐では、エントロピー的バリアによりバリアパラメータを n(n+1)/2 から n にまで低減し、標準の対数行列式バリアに対して (n+1)/2 の乗法的改善を達成した。
• 模擬アニーリングの新しい温度スケジュールにより、実行時間は Õ(√ν n⁴) に改善され、従来の Õ(n⁴.⁵) の境界を Õ(√(n/ν)) の要因で上回った。
• Rⁿ×ⁿ 上の半正定値計画法では、ν = n であるため n² ではなく、n の要因で改善され、実用的な高速化が顕著に得られた。
• 本手法はバリア関数の明示的アクセスを必要としない。バリア関数は解析上にのみ登場し、メンバー shipped クエリのみを介して実用的な展開が可能である。