[論文レビュー] Efficient Simulation for Branching Linear Recursions

Ningyuan Chen, Mariana Olvera‐Cravioto|arXiv (Cornell University)|Mar 31, 2015

Stochastic processes and statistical mechanics参考文献 21被引用数 10

ひとこと要約

本稿では、PageRank やクイックソートの解析に現れる分岐線形再帰の $ k $ 回目の反復 $ R^{(k)} $ の分布を、計算量が $ k $ に対して線形となるように、反復的ブートストラップ法を提案する。この手法は、分布の収束を内生的解へ保証し、ナーブなモンテカルロ法に比べて数桁の高速化を達成しながら、モーメントや裾の挙動の正確な推定を可能にする。

ABSTRACT

We consider a linear recursion of the form $$R^{(k+1)}\stackrel{\mathcal D}{=}\sum_{i=1}^{N}C_iR^{(k)}_i+Q,$$ where $(Q,N,C_1,C_2,\dots)$ is a real-valued random vector with $N\in\mathbb{N}=\{0, 1, 2, \dots\}$, $\{R^{(k)}_i\}_{i\in\mathbb{N}}$ is a sequence of i.i.d. copies of $R^{(k)}$, independent of $(Q,N,C_1,C_2,\dots)$, and $\stackrel{\mathcal{D}}{=}$ denotes equality in distribution. For suitable vectors $(Q,N,C_1,C_2,\dots)$ and provided the initial distribution of $R^{(0)}$ is well-behaved, the process $R^{(k)}$ is known to converge to the endogenous solution of the corresponding stochastic fixed-point equation, which appears in the analysis of information ranking algorithms, e.g., PageRank, and in the complexity analysis of divide and conquer algorithms, e.g. Quicksort. Naive Monte Carlo simulation of $R^{(k)}$ based on the branching recursion has exponential complexity in $k$, and therefore the need for efficient methods. We propose in this paper an iterative bootstrap algorithm that has linear complexity and can be used to approximately sample $R^{(k)}$. We show the consistency of estimators based on our proposed algorithm.

研究の動機と目的

• ランク付けや分割統治アルゴリズムに現れる確率的不動点方程式において、$ R^{(k)} $ という主要な量のナーブなモンテカルロシミュレーションにおける指数的計算コストを解消すること。
• 真の分布が解析的に扱いにくい場合に、$ k $ が大きい際の $ R^{(k)} $ の分布を近似する数値的に効率的な手法を開発すること。
• 提案手法の出力分布が、ケンタロヴィッチ＝ルービンシュテイン距離において $ R^{(k)} $ の真の分布に収束することを保証し、弱収束およびモーメントの一致性を保証すること。
• 閉形式が得られない場合に難しいとされる、内生的解の非整数モーメントおよび尾部挙動の正確な推定を可能とすること。

提案手法

• アルゴリズムは、$ R^{(k)} $ の分布を近似するサイズ $ m $ のサンプルプール $ \{\hat{R}^{(k,m)}_i\}_{i=1}^m $ を反復的ブートストラップ手順により生成する。
• 各反復 $ k $ において、再帰的関係 $ R^{(k+1)} \stackrel{\mathcal{D}}{=} \sum_{i=1}^N C_i R^{(k)}_i + Q $ を、前回のステップで得られた経験的分布を用いてシミュレートする。
• アルゴリズムは、$ R^{(k)} $ が内生的解 $ R $ に幾何的に収束することに着目し、$ k $ が十分に大きい場合に $ R^{(k)} $ をシミュレートすれば十分であることを活用する。
• 収束はケンタロヴィッチ＝ルービンシュテイン距離において証明され、これは弱収束および一次絶対モーメントの収束を意味する。
• ナーブなモンテカルロ法の $ (\mathbb{E}[N])^k $ の指数的計算量とは対照的に、本手法は $ k $ に対して線形計算量を達成する。
• カップリングの議論とモーメントの上限を用いて理論的保証を確立し、$ c < 1 $ に対して $ \mathbb{E}[|R^{(k)} - R|^{\beta}] \leq K c^{k+1} $ を示した。

実験結果

リサーチクエスチョン

• RQ1 $ k $ に関して指数的でない計算量で、分岐線形再帰の $ k $ 回目の反復 $ R^{(k)} $ の分布をシミュレートすることは可能か？
• RQ2 確率的不動点方程式 $ R \stackrel{\mathcal{D}}{=} \sum_{i=1}^N C_i R_i + Q $ の内生的解を、効率的に近似する方法は何か？
• RQ3 提案されたシミュレーション手法の経験的分布が、$ R^{(k)} $ の真の分布にどの程度の速度で収束するか？
• RQ4 閉形式が得られない場合でも、アルゴリズムは非整数モーメントおよび $ R^{(k)} $ の尾部挙動を一貫して推定できるか？

主な発見

• 提案されたブートストラップアルゴリズムは $ k $ に対して線形計算量を達成し、ナーブなモンテカルロ法が $ k $ に対して指数的増加を示すのとは対照的に、大きな $ k $ に対しても効率的なシミュレーションを可能にする。
• $ k = 10 $ の場合、アルゴリズムは $ \hat{F}_{10,1000} $ を 2.1 秒で計算したが、ナーブサンプリングによる経験的分布関数は 883.3 秒を要した。
• アルゴリズムの出力分布はケンタロヴィッチ＝ルービンシュテイン距離において真の分布 $ R^{(k)} $ に収束し、弱収束およびモーメントの一致性を保証する。
• 数値的結果から、$ \hat{F}_{10,10000} $ の尾部挙動が理論的漸近的尾部 $ G_{10}(x) \approx 0.365 \cdot P(N > x) $ とよく一致しており、重尾領域における精度が裏付けられた。
• 本手法は $ \mathbb{E}[|R^{(k)} - R|^{\beta}] \leq K c^{k+1} $ （$ c < 1 $）を満たすことを保証し、$ R^{(k)} $ が内生的解 $ R $ に幾何的に収束することを確認した。