[論文レビュー] Asymptotics of Constant Step Stochastic Approximations Involving Differential Inclusions

Pascal Bianchi, Walid Hachem+1 more|arXiv (Cornell University)|Dec 12, 2016

Markov Chains and Monte Carlo Methods被引用数 1

ひとこと要約

本稿はスケーリングパラメータ γ を持つマルコフ連鎖を用いた定数ステップサイズの確率的近似を研究し、補間過程が上半連続かつ凸値をとる写像を持つ微分包含（DI）の解に狭義収束することを示している。弱いドリフト条件の下で、反復は DI のバーキホフ中心に収束し、長期的安定性およびエルゴード的挙動を保証する。応用例として非凸プロキシマル最適化とキューイングモデルが挙げられる。

ABSTRACT

We consider a Markov chain $(x_n)$ whose kernel is indexed by a scaling parameter $\gamma>0$, refered to as the step size. The aim is to analyze the behavior of the Markov chain in the doubly asymptotic regime where $n o\infty$ then $\gamma o 0$. First, under mild assumptions on the so-called drift of the Markov chain, we show that the interpolated process converges narrowly to the solutions of a Differential Inclusion (DI) involving an upper semicontinuous set-valued map with closed and convex values. Second, we provide verifiable conditions which ensure the stability of the iterates. Third, by putting the above results together, we establish the long run convergence of the iterates as $\gamma o 0$, to the Birkhoff center of the DI. The ergodic behavior of the iterates is also provided. Application examples are investigated. We apply our findings to 1) the problem of nonconvex proximal stochastic optimization and 2) a fluid model of parallel queues.

研究の動機と目的

• n→∞ かつ γ→0 の極限において、スケーリングパラメータ γ を持つマルコフ連鎖の漸近的挙動を分析すること。
• 補間過程が微分包含（DI）の解に狭義収束するための条件を確立すること。
• 確率的近似アルゴリズムの反復の安定性を検証可能な条件として導出すること。
• γ→0 のとき、反復が DI のバーキホフ中心に長期的に収束することを証明し、エルゴード的挙動を保証すること。

提案手法

• ステップサイズ γ に依存する遷移核を持つマルコフ連鎖 (x_n) として確率的近似をモデル化する。
• 離散時間マルコフ連鎖から連続時間過程を補間によって構成し、収束解析を可能にする。
• 多価解析の道具を用いて、補間過程が上半連続かつ閉かつ凸値をとる写像を持つ微分包含の解に狭義収束することを示す。
• マルコフ連鎖のドリフトに関する条件の検証により、反復の安定性を確立する。
• 微分包含およびバーキホフ中心の理論を活用し、γ→0 のとき反復がバーキホフ中心に収束することを証明する。
• 非凸プロキシマル確率的最適化と並列キューのフロイドモデルという2つの具体的な問題にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズの確率的近似における補間過程が微分包含の解に収束する条件は何か？
• RQ2 定数ステップサイズの確率的近似フレームワークにおいて、反復の安定性を保証する検証可能な条件は何か？
• RQ3 反復の長期的挙動は微分包含のバーキホフ中心とどのように関係するか？
• RQ4 提案されたフレームワークは非凸最適化および収束保証付きのキューイングシステムに適用可能か？

主な発見

• 弱いドリフト仮定の下で、補間過程は上半連続かつ閉かつ凸値をとる多価写像を持つ微分包含の解に狭義収束する。
• ドリフトに関する検証可能な条件が、確率的近似プロセスにおける反復の安定性を保証する。
• γ→0 のとき、反復は微分包含のバーキホフ中心に収束し、長期的収束を保証する。
• 反復のエルゴード的挙動が特徴づけられ、その経験測度がバーキホフ中心上に特徴づけられる不変測度に収束することが示された。
• フレームワークは非凸プロキシマル確率的最適化に成功裏に適用され、停留点への収束が確立された。
• 並列キューのフロイドモデルが解析され、本手法が複雑なダイナミクスを示すキューイングシステムへの適用可能性が示された。