[論文レビュー] Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes

Mohammad Gheshlaghi Azar, Eva L. Dyer+1 more|arXiv (Cornell University)|Feb 5, 2016

Sparse and Compressive Sensing Techniques参考文献 41被引用数 3

ひとこと要約

この論文は、滑らかな非凸関数の凸緩和を、ランダムな関数評価に基づく制約付きℓ₁回帰によって推定することで、凸緩和を学習するブラックボックス最適化手法であるConvex Relaxation Regression (CoRR) を導入する。理論的に、CoRRが誤差O((log(1/δ)/T)^α)でグローバル最小値に収束することを証明し、多項式収束率を確立し、凸ソルバーを用いた効率的なグローバル最適化を可能にする。

ABSTRACT

Finding efficient and provable methods to solve non-convex optimization problems is an outstanding challenge in machine learning and optimization theory. A popular approach used to tackle non-convex problems is to use convex relaxation techniques to find a convex surrogate for the problem. Unfortunately, convex relaxations typically must be found on a problem-by-problem basis. Thus, providing a general-purpose strategy to estimate a convex relaxation would have a wide reaching impact. Here, we introduce Convex Relaxation Regression (CoRR), an approach for learning convex relaxations for a class of smooth functions. The main idea behind our approach is to estimate the convex envelope of a function $f$ by evaluating $f$ at a set of $T$ random points and then fitting a convex function to these function evaluations. We prove that with probability greater than $1-δ$, the solution of our algorithm converges to the global optimizer of $f$ with error $\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$ for some $α> 0$. Our approach enables the use of convex optimization tools to solve a class of non-convex optimization problems.

研究の動機と目的

• 勾配情報が利用できない滑らかな非凸関数のための汎用的ブラックボックスグローバル最適化手法を開発すること。
• 勾配情報なしに関数評価のみを用いて非凸関数の凸包を推定し、凸最適化ツールの利用を可能にすること。
• 推定された凸緩和が真のグローバル最小値に近づく理論的収束保証を提供すること。
• 次元の増加に対しても精度と効率を維持しながら、この手法をスケーリングすること。
• CoRRの出力をローカルソルバーの初期化に用いることでハイブリッド最適化を可能にし、グローバル収束を向上させること。

提案手法

• CoRRは、T個のランダムな点でfをサンプリングし、制約付きℓ₁回帰により凸関数をフィッティングすることで、関数fの凸包を推定する。
• 推定された凸サロゲートを表すために凸関数の基底（例：多項式）を用い、正則化によって凸性を保証する。
• 回帰は近似誤差とサロゲートの経験的期待値のバランスを取るために制約され、タイトな下界を促進する。
• アルゴリズムは勾配情報が不要なゼロオーダー設定で動作する。
• 理論的分析では、f(x) − f*のホルダー連続性を仮定し、Tとδに依存する収束率を導出する。
• 反復的にサンプリング分布を精緻化することで、サンプル複雑度を低減するためのアダプティブサンプリング拡張が提案されている。

実験結果

リサーチクエスチョン

• RQ1 滑らかな非凸関数の凸緩和は、ランダムな関数評価のみから正確に推定可能か？
• RQ2 サンプル数を増やすにつれて、推定された凸包が高確率で真のグローバル最小値に収束するか？
• RQ3 CoRRの推定がグローバル最小値に収束する速度は何か？ また、次元とサンプルサイズにどのように依存するか？
• RQ4 高次元の非凸設定において、CoRRは従来のグローバル最適化手法と比較してどのように性能を発揮するか？
• RQ5 CoRRはローカル最適化手法と効果的に組み合わせられ、正確なグローバル最小値の回復を達成できるか？

主な発見

• CoRRは、確率1−δ以上でグローバル最小値にO((log(1/δ)/T)^α)の誤差で収束し、α>0はf(x)−f*のホルダー指数に依存する。
• サロモン関数において、100万サンプルで全テスト次元で誤差が1e−5未満に抑えられる。
• 10次元を超える次元では、準ニュートン法やシミュレーテッドアニーリング法はグローバル最小値を回復できないが、CoRRは強力な性能を維持する。
• CoRRの出力を準ニュートン法などのローカル最適化器の初期値として用いることで、全テスト次元でサロモン関数のグローバル最小値を完全に回復できる。
• 真の凸包が関数族Hに含まれる場合、理論的保証が成立し、Hに近い場合にも拡張可能である。
• この手法は次元に強くスケーリング可能であり、与えられた誤差許容範囲に対して必要なサンプルサイズは次元に対して多項式的に増加する。