[論文レビュー] Asymptotic Theory of Bayes Factor in Stochastic Differential Equations: Part II

Trisha Maitra, Sourabh Bhattacharya|arXiv (Cornell University)|Mar 31, 2015

Probabilistic and Robust Engineering Design参考文献 22被引用数 4

ひとこと要約

本稿は、時刻に依存する共変数およびランダム効果を含む確率微分方程式（SDE）モデルにおけるベイズ因子の漸近的理論を構築し、時間および個体数が増加する際、i.i.d.および非i.i.i.d.の標本抽出枠組みの下でベイズ因子のほとんど確実な指数的収束を確立する。主な貢献は、個体ごとの対数ベイズ因子が期待値での収束しか示さない場合でも、SDEにおけるモデル選択の一貫性を証明することにある。

ABSTRACT

The problem of model selection in the context of a system of stochastic differential equations (SDEs) has not been touched upon in the literature. Indeed, properties of Bayes factors have not been studied even in single SDE based model comparison problems. In this article, we first develop an asymptotic theory of Bayes factors when two SDEs are compared, assuming the time domain expands. Using this we then develop an asymptotic theory of Bayes factors when systems of SDEs are compared, assuming that the number of equations in each system, as well as the time domain, increase indefinitely. Our asymptotic theory covers situations when the observed processes associated with the SDEs are independently and identically distributed (iid), as well as when they are independently but not identically distributed (non-iid). Quite importantly, we allow inclusion of available time-dependent covariate information into each SDE through a multiplicative factor of the drift function in a random effects set-up; different initial values for the SDEs are also permitted. Thus, our general model-selection framework includes simultaneously the variable selection problem associated with time-varying covariates, as well as choice of the part of the drift function free of covariates. As we show, the Bayes factor is inconsistent for comparing individual SDEs, in the sense that the log-Bayes factor converges only in expectation, while the relevant variance does not converge to zero. Nevertheless, it has been possible to exploit this result to establish almost sure exponential convergence of the Bayes factor when, in addition, the number of individuals are also allowed to increase indefinitely. We carry out simulated and real data analyses to demonstrate that Bayes factor is a suitable candidate for covariate selection in our SDE models even in non-asymptotic situations.

研究の動機と目的

• 確率微分方程式（SDE）におけるモデル選択のためのベイズ因子の漸近的理論を発展させること、これは既存の文献における空白を埋めるものである。
• この理論を、時間領域および方程式数が無限大に増加するSDEの連立系へと拡張すること。
• SDEのドリフト関数に時刻に依存する共変数およびランダム効果を組み込み、変数選択および個体間の不均一性の柔軟なモデリングを可能にすること。
• i.i.d.および非i.i.i.d.の標本抽出スキームの下で、ベイズ因子のほとんど確実な指数的収束を確立すること。
• シミュレーションおよび実データ解析を通じて、有限サンプル設定下でもベイズ因子が共変数選択に適していることを示すこと。

提案手法

• ドリフト関数に乗法的ランダム効果構造を備えた一般化されたSDEモデルを形式化し、時刻に依存する共変数および個体固有の初期値を許容する。
• リーマン和による連続的近似を用いて、個体数および時間領域が増加する際のベイズ因子の極限的挙動を表現する。
• コルモゴロフの強大数法則を適用し、個体間の平均対数ベイズ因子のほとんど確実な収束を確立する。
• 優越収束定理を用いて期待値と積分の極限の順序を入れ替え、期待対数ベイズ因子がカルバック・ライブラー情報量に類似した量に収束することを証明する。
• 区間[0,1]上に連続関数を構築し、対数ベイズ因子の極限的挙動を表し、離散的数列と連続的積分を結びつける。
• パrameter空間および関連関数のコンパクト性と連続性に依存し、極限表現の一様有界性および可積分性を保証する。

実験結果

リサーチクエスチョン

• RQ1 時間領域および個体数が無限大に増加する際、ベイズ因子は正しいSDEモデルを一貫して選択できるか？
• RQ2 時刻に依存する共変数およびランダム効果の導入が、SDEモデルにおけるベイズ因子の漸近的挙動にどのように影響を与えるか？
• RQ3 元の過程が完全に観測可能で、拡散係数が既知である場合、ベイズ因子はSDEにおけるモデル選択に対して一貫性を示すか？
• RQ4 SDE混合効果モデルにおけるi.i.d.および非i.i.i.d.の標本抽出枠組み下で、対数ベイズ因子の極限的挙動はいかなるものか？
• RQ5 有限サンプル設定下でも、ベイズ因子はSDEにおける変数選択に信頼性をもって用いることができるか？

主な発見

• 時間および個体数が増加する際、i.i.d.および非i.i.i.d.の両方の標本抽出スキーム下で、ベイズ因子はほとんど確実に指数的に収束する。
• 対数ベイズ因子は、真の密度とモデル密度のカルバック・ライブラー情報量の負の定数倍にほとんど確実に収束する。これはモデル選択の一貫性を示唆する。
• 個体のSDEでは対数ベイズ因子が分散が消えない限り期待値でのみ収束するが、時間およびサンプルサイズの両方の増加により、平均対数ベイズ因子はほとんど確実に収束する。
• 平均対数ベイズ因子の極限値は、$-\delta^\infty = -\int_0^1 \delta(x, \boldsymbol{z}) \, dy$ で与えられ、ここで $\delta(x, \boldsymbol{z})$ は真の密度とモデル密度のカルバック・ライブラー情報量を表す。
• ドリフト関数に時変共変数およびランダム効果が含まれる場合や、初期値が個体ごとに異なる場合でも、漸近的理論は成立する。
• シミュレーションおよび実データ解析により、有限サンプル設定下でもベイズ因子が共変数選択に有効であることが確認された。