[論文レビュー] Cyclic Stochastic Optimization: Generalizations, Convergence, and Applications in Multi-Agent Systems

Karla Hernández Cuevas|arXiv (Cornell University)|Jul 20, 2017

Simulation Techniques and Applications参考文献 1被引用数 3

ひとこと要約

本稿では、パラメータの部分ベクトルをサイクル的またはランダムな順序で逐次更新する、確率的最適化の変種である一般化サイクル確率的近似（GCSA）を導入する。GCSAの確実収束性と漸近正規性を確立し、非サイクル的SAと比較した際の漸近的相対効率の解析的表現を導出し、理論的・数値的妥当性を伴って多エージェント確率的最適化問題への応用を実施する。

ABSTRACT

Stochastic approximation (SA) is a powerful class of iterative algorithms for nonlinear root-finding that can be used for minimizing a loss function, $L(\boldsymbolθ)$, with respect to a parameter vector $\boldsymbolθ$, when only noisy observations of $L(\boldsymbolθ)$ or its gradient are available (through the natural connection between root-finding and minimization); SA algorithms can be thought of as stochastic line search methods where the entire parameter vector is updated at each iteration. The cyclic approach to SA is a variant of SA procedures where $\boldsymbolθ$ is divided into multiple subvectors that are updated one at a time in a cyclic manner. This dissertation focuses on studying the asymptotic properties of cyclic SA and of the generalized cyclic SA (GCSA) algorithm, a variant of cyclic SA where the subvector to update may be selected according to a random variable or according to a predetermined pattern, and where the noisy update direction can be based on the updates of any SA algorithm (e.g., stochastic gradient, Kiefer--Wolfowitz, or simultaneous perturbation SA). The convergence of GCSA, asymptotic normality of GCSA (related to rate of convergence), and efficiency of GCSA relative to its non-cyclic counterpart are investigated both analytically and numerically. Specifically, conditions are obtained for the convergence with probability one of the GCSA iterates and for the asymptotic normality of the normalized iterates of a special case of GCSA. Further, an analytic expression is given for the asymptotic relative efficiency (when efficiency is defined in terms of mean squared error) between a special case of GCSA and its non-cyclic counterpart. Finally, an application of the cyclic SA scheme to a multi-agent stochastic optimization problem is investigated. This dissertation also contains two appendices.

研究の動機と目的

• ノイズのある観測下におけるパラメータ最適化におけるサイクル的確率的近似（SA）アルゴリズムの漸近的挙動を分析すること。
• サイクル的SAフレームワークを一般化し、ランダムまたはパターンに基づく部分ベクトル選択と柔軟な更新方向を許容すること。
• 提案された一般化サイクルSA（GCSA）アルゴリズムの確実収束性と漸近正規性を確立すること。
• GCSAと非サイクル的SAとの間の漸近的相対効率の解析的表現を導出すること。
• サイクル的SAフレームワークが多エージェント確率的最適化設定に効果的に応用可能かどうかを示すこと。

提案手法

• GCSAアルゴリズムは、パラメータベクトルθを部分ベクトルに分割し、サイクル的またはランダムな順序で逐次更新する。
• 各反復において、確率変数または固定パターンに従って部分ベクトルが選択され、ノイズを含む勾配推定値が更新に用いられる。
• 本手法は、キーファー＝ヴォルフィッツおよび同時摂動SAを含む、さまざまな確率的勾配推定技術をサポートする。
• 収束解析は、マルティンゲール差分列とリャプノフ関数の技法を用いて実施される。
• ノイズおよびステップサイズ列の正則性条件下で、GCSAの特別な場合について漸近正規性が導出される。
• 効率性は平均二乗誤差を用いて測定され、GCSAと非サイクル的SAとの間の漸近的相対効率の解析的表現が導出される。

実験結果

リサーチクエスチョン

• RQ1 GCSAアルゴリズムが、ステップサイズおよびノイズ列の弱い正則性条件下で、最適パラメータベクトルに確実に収束する条件は何か？
• RQ2 アルゴリズムの特別な場合において、正規化されたGCSA反復値の漸近的分布は何か？
• RQ3 GCSAの漸近的相対効率は、平均二乗誤差の観点から非サイクル的SAと比較してどのように異なるか？
• RQ4 サイクル的SAフレームワークは、多エージェント確率的最適化問題に効果的に応用可能か？
• RQ5 部分ベクトルのサイクル的更新と全ベクトル更新の間で、理論的および数値的意味は何か？

主な発見

• ステップサイズおよびノイズ列の弱い正則性条件下で、GCSA反復値は最適パラメータベクトルに確実に収束する。
• GCSAの特別な場合において、正規化された反復値は漸近的に正規分布に従い、パラメータ推定値の推論が可能になる。
• GCSAと非サイクル的SAとの間の漸近的相対効率の解析的表現が導出され、サイクル的更新による性能向上が定量的に評価される。
• 数値結果は、理論的収束性および効率性の向上を確認しており、特に高次元設定において顕著である。
• サイクル的SAフレームワークは、多エージェント確率的最適化問題に成功裏に応用され、スケーラビリティとロバストネスが示された。
• 導出された効率性の式は、部分ベクトルの更新が分散を低減することで、GCSAが非サイクル的SAを平均二乗誤差の観点で上回る可能性があることを示している。