[論文レビュー] Convex Optimization with Unbounded Nonconvex Oracles using Simulated Annealing

Oren Mangoubi|arXiv (Cornell University)|Nov 7, 2017

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、滑らかでない凸関数を、非有界な乗法的および加法的ノイズを持つノイズの多いオラクルを用いて、多項式時間で最小化するアルゴリズムを提示する。この手法は、局所最適化のためのシミュレーテッドアニーリングと確率的勾配ラングヴィンダイナミクス（SGLD）を組み合わせ、温度を徐々に低下させることで、混合速度と真の最小値付近への集中の両立を実現する。非凸ノイズが存在する中でも、所望の誤差境界内での近似解が得られる。

ABSTRACT

We consider the problem of minimizing a convex objective function $F$ when one can only evaluate its noisy approximation $\hat{F}$. Unless one assumes some structure on the noise, $\hat{F}$ may be an arbitrary nonconvex function, making the task of minimizing $F$ intractable. To overcome this, prior work has often focused on the case when $F(x)-\hat{F}(x)$ is uniformly-bounded. In this paper we study the more general case when the noise has magnitude $αF(x) + β$ for some $α, β> 0$, and present a polynomial time algorithm that finds an approximate minimizer of $F$ for this noise model. Previously, Markov chains, such as the stochastic gradient Langevin dynamics, have been used to arrive at approximate solutions to these optimization problems. However, for the noise model considered in this paper, no single temperature allows such a Markov chain to both mix quickly and concentrate near the global minimizer. We bypass this by combining "simulated annealing" with the stochastic gradient Langevin dynamics, and gradually decreasing the temperature of the chain in order to approach the global minimizer. As a corollary one can approximately minimize a nonconvex function that is close to a convex function; however, the closeness can deteriorate as one moves away from the optimum.

研究の動機と目的

• 真の凸関数 F のノイズのある近似 ˆF のみが利用可能であるような凸最適化問題に対処すること。特に、ノイズが非有界かつ非凸である場合を想定する。
• 確率的勾配ラングヴィンダイナミクス（SGLD）のような既存のマルコフ連鎖手法の限界を克服すること。これらの手法は乗法的および加法的ノイズの下で、速やかな混合と強い集中の両立に失敗する。
• 関数のノイズが |ˆF(x)−F(x)| ≤ α(F(x)−F(x*)) + β の形を取る場合でも、真の最小値の近似解を求める多項式時間アルゴリズムを開発すること。
• 従来の有界加法的ノイズの研究を、関数値に比例してノイズが増加するより現実的なモデルへ一般化し、計算コストの適応的制御を可能にする。

提案手法

• シミュレーテッドアニーリングと確率的勾配ラングヴィンダイナミクス（SGLD）を組み合わせ、混合速度と真の最小値付近への集中の両立を図るために温度を段階的に低下させる。
• 滑らかでない関数とノイズに対処するため、真の関数 F の滑らか化近似 ˜fσ を用いる。σ は滑らかさと近似精度のバランスを取るために選択される。
• 現在の関数値 ˆF(xk) に応じて適応的に調整される温度スケジュール ξk を用いることで、収束性と混合性を両立させる。
• 関数の滑らかさ、勾配の有界性、ノイズレベルを含む複雑な式から導かれるステップサイズ ηk = η(ξk) を用いて、SGLD のダイナミクスを制御する。
• 各エポックごとに δ, r, imax などのパラメータを動的に調整する、新規なアニーリングスケジュールを導入し、誤差境界を維持する。
• 濃度不等式（例：ハンソン＝ハワード）と確率的バインディングを用いて、アルゴリズムの出力が真の最小値の所望の近傍に、高確率で収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 非有界かつ非凸なノイズを持つオラクルからのノイズのある近似が唯一利用可能な場合、凸関数を多項式時間で最小化するアルゴリズムは存在するか？
• RQ2 乗法的および加法的ノイズの下で、適応的温度スケジューリングを用いたシミュレーテッドアニーリングは、標準的な SGLD よりも優れているか？
• RQ3 関数値に比例してノイズが増大する状況、特に最適値付近で、所望の誤差境界 ˆε を達成できるか？
• RQ4 このようなノイズモデル下で、速やかな混合と強い集中を同時に達成することは可能か？ もし可能であれば、その実現方法は何か？
• RQ5 アルゴリズムの実行時間は次元 d およびノイズパラメータ α, β に対してどのようにスケーリングされるか？

主な発見

• アルゴリズムは、非有界な非凸ノイズが存在する中でも、多項式時間内に F(ˆx) − F(x*) ≤ ˆε を満たす近似最小値 ˆx を得る。
• 温度を段階的に低下させることで、シミュレーテッドアニーリングにより、混合速度と真の最小値付近への集中の両方を確保する。
• 実行時間は d, R, λ, ˜λ, L, G, ζmax, bmax, log(1/δ), および α, β, log(R / min(εD, r')) を含む項に対して多項式的である。
• 滑らか化関数 ˜fσ は、乗法的ノイズレベル 2α と加法的ノイズレベル 2β を持つ近似を提供し、理論的解析を可能にする。
• 確率的バインディングと濃度不等式を用いて収束性を証明し、出力が真の最小値の所望の半径内に、確率 1/3 以上で収束することを示した。
• 従来の加法的ノイズ（α=0）の研究を一般化し、より一般的な (α,β)-ノイズモデルに対して、初めての多項式時間アルゴリズムを提供した。