[論文レビュー] Optimization with Discrete Simultaneous Perturbation Stochastic Approximation Using Noisy Loss Function Measurements

Qi Wang|arXiv (Cornell University)|Oct 31, 2013

Simulation Techniques and Applications参考文献 1被引用数 12

ひとこと要約

本稿は、ノイズのある損失関数測定値が得られる状況下での離散確率的最適化のための、中点離散同時摂動確率的近似（DSPSA）アルゴリズムを提案する。本稿では、最適解へのほとんど確実な収束を証明し、平均二乗誤差の上限を用いて収束速度を確立している。また、公衆衛生分野におけるインフルエンザ対策への応用において、理論的および数値的比較を通じて、ステochastic ruler（SR）およびstochastic comparison（SC）アルゴリズムよりも優れた性能を示している。

ABSTRACT

Discrete stochastic optimization considers the problem of minimizing (or maximizing) loss functions defined on discrete sets, where only noisy measurements of the loss functions are available. The discrete stochastic optimization problem is widely applicable in practice, and many algorithms have been considered to solve this kind of optimization problem. Motivated by the efficient algorithm of simultaneous perturbation stochastic approximation (SPSA) for continuous stochastic optimization problems, we introduce the middle point discrete simultaneous perturbation stochastic approximation (DSPSA) algorithm for the stochastic optimization of a loss function defined on a p-dimensional grid of points in Euclidean space. We show that the sequence generated by DSPSA converges to the optimal point under some conditions. Consistent with other stochastic approximation methods, DSPSA formally accommodates noisy measurements of the loss function. We also show the rate of convergence analysis of DSPSA by solving an upper bound of the mean squared error of the generated sequence. In order to compare the performance of DSPSA with the other algorithms such as the stochastic ruler algorithm (SR) and the stochastic comparison algorithm (SC), we set up a bridge between DSPSA and the other two algorithms by comparing the probability in a big-O sense of not achieving the optimal solution. We show the theoretical and numerical comparison results of DSPSA, SR, and SC. In addition, we consider an application of DSPSA towards developing optimal public health strategies for containing the spread of influenza given limited societal resources.

研究の動機と目的

• ノイズのある損失関数測定値しか入手できない離散確率的最適化問題に対処すること。
• 効率的なSPSAフレームワークを離散グリッドに拡張し、高次元設定におけるスケーラブルな最適化を可能にすること。
• 標準的な確率的近似の条件下で、提案されたDSPSAアルゴリズムの理論的収束保証を確立すること。
• 最適解への到達確率に関する確率的境界を用いて、DSPSAの性能をSRやSCといった既存手法と比較すること。
• リソース制約下でのインフルエンザ対策戦略の設計という応用を通じて、実用的有効性を示すこと。

提案手法

• p次元の離散グリッドを想定した、同時摂動確率的近似（SPSA）法の離散版を提案する。
• 各反復で2回のノイズのある関数評価のみを用いて、損失関数の勾配を推定するための中点摂動スキームを採用する。
• 推定された勾配に基づく再帰的更新ルールを適用し、収束を保証するために減少するステップサイズを用いる。
• 反復の平均二乗誤差に対する上界を導出し、収束速度を分析する。
• ノイズおよびステップサイズの系列に関する標準的な仮定の下で、最適解へのほとんど確実な収束を確立する。
• DSPSAと既存手法（SRおよびSC）との間の理論的橋渡しを構築し、最適解に到達しない確率のオーダー（big-O）を比較する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある損失関数測定値が存在する状況下でも、効率性および収束性を維持する離散版SPSAを開発可能か？
• RQ2 提案されたDSPSAアルゴリズムの収束速度は何か？ また、既存の離散確率的最適化手法と比較するとどうか？
• RQ3 DSPSAにおける最適解に到達しない確率は、確率的・big-Oの観点からSRおよびSCと比較してどの程度か？
• RQ4 DSPSAは、リソース制約下での公衆衛生戦略設計といった実世界の離散最適化問題に効果的に適用可能か？
• RQ5 ノイズが混在する有限標本の損失関数測定値の下で、DSPSAの収束に関する理論的保証をどの程度確立できるか？

主な発見

• 標準的なノイズおよびステップサイズの系列に関する仮定の下で、DSPSAアルゴリズムは最適解へのほとんど確実な収束が証明された。
• 反復の平均二乗誤差は、反復回数kが増加するにつれてO(1/k)の速度で減少する項によって上界で抑えられる。
• big-O比較によって示されるように、DSPSAはSRおよびSCよりも最適解に到達しない確率が低い。
• 数値実験により、ベンチマークとなる離散最適化問題において、DSPSAがSRおよびSCを上回る収束速度と解の精度を示した。
• 公衆衛生の応用において、リソース制約下でインフルエンザの拡散を抑制する近似的最適戦略を、DSPSAが効果的に同定した。
• 理論的分析により、DSPSAはSPSAの効率性を維持するとともに、離散的グリッドベースの最適化問題への適用範囲を拡張していることが示された。