[論文レビュー] Stochastic Approximation with Random Step Sizes and Urn Models with Random Replacement Matrices

Ujan Gangopadhyay, Krishanu Maulik|arXiv (Cornell University)|Sep 1, 2017

Stochastic processes and financial applications被引用数 3

ひとこと要約

本稿は、確率的勾配降下法の枠組みを拡張し、ランダムなステップサイズとランダムなドリフトを導入した新しい確率的近似フレームワークを提案する。このフレームワークでは、緩いモーメント条件および非可約性条件のもとで、割合、構成、カウントの各ベクトルが $L^1$ でほとんど確実に収束することを証明する。本手法は、非独立・非同一分布の置換行列をもつ一般化されたウエルトモデルに適用され、二階モーメントが仮定されていなくても、かつ行列がバランス型または決定論的でなくても収束が保証されることを示している。

ABSTRACT

Stochastic approximation algorithm is a useful technique which has been exploited successfully in probability theory and statistics for a long time. The step sizes used in stochastic approximation are generally taken to be deterministic and same is true for the drift. However, the specific application of urn models with random replacement matrices motivates us to consider stochastic approximation in a setup where both the step sizes and the drift are random, but the sequence is uniformly bounded. The problem becomes interesting when the negligibility conditions on the errors hold only in probability. We first prove a result on stochastic approximation in this setup, which is new in the literature. Then, as an application, we study urn models with random replacement matrices. In the urn model, the replacement matrices need neither be independent, nor identically distributed. We assume that the replacement matrices are only independent of the color drawn in the same round conditioned on the entire past. We relax the usual second moment assumption on the replacement matrices in the literature and require only first moment to be finite. We require the conditional expectation of the replacement matrix given the past to be close to an irreducible matrix, in an appropriate sense. We do not require any of the matrices to be balanced or nonrandom. We prove convergence of the proportion vector, the composition vector and the count vector in $L^1$, and hence in probability. It is to be noted that the related differential equation is of Lotka-Volterra type and can be analyzed directly.

研究の動機と目的

• 従来の無視可能性条件が確率的にのみ成立するような、ランダムなステップサイズおよびランダムなドリフトを伴う設定への確率的近似理論の拡張を目的とする。
• 独立で同一分布でない、バランス型でもない、非確率的でもない置換行列をもつウエルトモデルの分析を目的とする。
• 置換行列に対する標準的な二階モーメントの仮定を緩め、有限の一階モーメントのみを要件とする。
• 割合、構成、カウントの各ベクトルが $L^1$ で収束し、したがって確率的にも収束することを確立する。
• 極限的挙動がロトカ＝ヴォリエーラ型微分方程式によって支配されることを示し、これを直接解析可能とする。

提案手法

• ステップサイズとドリフトが両方とも確率的であるが、系列が一様有界であるような確率的近似スキームを形式化する。
• 誤差項をマルティンゲール差分構造でモデル化し、無視可能性条件が確率的にのみ成立するようにする。
• 過去の情報に関して、色の抽出結果に対して置換行列が条件付き独立であると定義することで、時間的依存性を許容する。
• 条件付き期待値に関する条件を導入し、期待置換行列が適切な意味で非可約行列に近いことを要請する。
• リャプノフ型の議論を用いて、割合ベクトルの $L^1$ 収束を証明し、古典的結果をランダムかつ非 i.i.d. 状況へ拡張する。
• 関連するロトカ＝ヴォリエーラ型微分方程式を解析することで、システムの極限的挙動を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 誤差が確率的にのみ無視可能となるような、ランダムなステップサイズおよびランダムなドリフトを伴う設定において、確率的近似を拡張可能か？
• RQ2 非 i.i.d. なランダム置換行列をもつウエルトモデルにおいて、割合ベクトルの $L^1$ 収束を保証する条件は何か？
• RQ3 置換行列に対する二階モーメントの仮定を、有限の一階モーメントのみに緩和するにはどうすればよいか？
• RQ4 期待置換行列の条件付き非可約性が収束を保証するために果たす役割は何か？
• RQ5 このようなウエルト過程の極限的挙動は、ロトカ＝ヴォリエーラ型微分方程式によって特徴付け可能か？

主な発見

• 割合ベクトルは $L^1$ で、ロトカ＝ヴォリエーラ型微分方程式の解を満たす極限に収束する。
• 構成およびカウントの各ベクトルについても $L^1$ 収束が成立し、したがって確率的収束が保証される。
• 本フレームワークは、各ラウンドにおいて独立でない、同一分布でもない置換行列を許容する。
• 本手法は、置換行列がバランス型であるか非確率的であるかを要件としないため、現実の確率的過程への応用範囲が広がる。
• 過去の情報に関して、置換行列の条件付き期待値が非可約行列に近いことが求められ、これにより長期的安定性と収束性が保証される。
• 関連する微分方程式の解析により、ウエルト過程の漸近的挙動を直接理解する道筋が得られる。