[논문 리뷰] Asymptotic Theory of Bayes Factor in Stochastic Differential Equations: Part II

Trisha Maitra, Sourabh Bhattacharya|arXiv (Cornell University)|2015. 03. 31.

Probabilistic and Robust Engineering Design참고 문헌 22인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 공변수와 랜덤 효과를 포함하는 확률미분방정식(SDE) 모델에서 베이즈 요인에 대한 渐近 이론을 개발하며, 시간과 개인 수가 증가함에 따라 i.i.d. 및 비-i.i.i.d. 표본 추출 방식에서 베이즈 요인이 거의 확실히 지수적으로 수렴함을 입증한다. 주요 기여는 개인별 로그-베이즈 요인이 기대값 수렴만 하는 상황에서도 SDE에서의 모형 선택에 대해 베이즈 요인이 일致함을 증명하는 것이다.

ABSTRACT

The problem of model selection in the context of a system of stochastic differential equations (SDEs) has not been touched upon in the literature. Indeed, properties of Bayes factors have not been studied even in single SDE based model comparison problems. In this article, we first develop an asymptotic theory of Bayes factors when two SDEs are compared, assuming the time domain expands. Using this we then develop an asymptotic theory of Bayes factors when systems of SDEs are compared, assuming that the number of equations in each system, as well as the time domain, increase indefinitely. Our asymptotic theory covers situations when the observed processes associated with the SDEs are independently and identically distributed (iid), as well as when they are independently but not identically distributed (non-iid). Quite importantly, we allow inclusion of available time-dependent covariate information into each SDE through a multiplicative factor of the drift function in a random effects set-up; different initial values for the SDEs are also permitted. Thus, our general model-selection framework includes simultaneously the variable selection problem associated with time-varying covariates, as well as choice of the part of the drift function free of covariates. As we show, the Bayes factor is inconsistent for comparing individual SDEs, in the sense that the log-Bayes factor converges only in expectation, while the relevant variance does not converge to zero. Nevertheless, it has been possible to exploit this result to establish almost sure exponential convergence of the Bayes factor when, in addition, the number of individuals are also allowed to increase indefinitely. We carry out simulated and real data analyses to demonstrate that Bayes factor is a suitable candidate for covariate selection in our SDE models even in non-asymptotic situations.

연구 동기 및 목표

• 기존 문헌에서의 격차를 메우기 위해 확률미분방정식(SDE) 모형 선택을 위한 베이즈 요인에 대한 渐近 이론을 개발하는 것.
• 이 이론을 시간 영역과 방정정수의 수가 모두 무한히 증가하는 SDE 시스템으로 확장하는 것.
• 시간에 따라 변화하는 공변수와 랜덤 효과를 SDE의 드리프트 함수에 통합하여 변수 선택과 개인 간 이질성의 탄력적 모형화를 가능하게 하는 것.
• 시간과 표본 크기가 증가함에 따라 i.i.d. 및 비-i.i.i.d. 표본 추출 계획 하에서 베이즈 요인이 거의 확실히 지수적으로 수렴함을 입증하는 것.
• 시뮬레이션과 실제 데이터 분석을 통해 유한 표본 설정에서도 베이즈 요인이 SDE 모형의 공변수 선택에 적합함을 보여주는 것.

제안 방법

• 드리프트 함수에 곱셈형 랜덤 효과 구조를 포함하는 일반적인 SDE 모형을 수식화하여 시간에 따라 변화하는 공변수와 개인별 초기값을 허용하는 것.
• 리만 합을 통한 연속적 근사법을 사용하여 개인 수와 시간 영역이 증가함에 따른 베이즈 요인의 극한 행동을 표현하는 것.
• 코모고로프의 강한 법칙을 적용하여 개인 간 평균 로그-베이즈 요인이 거의 확실히 수렴함을 입증하는 것.
• 지배 수렴 정리를 적용하여 기대값과 적분의 극한을 바꾸어, 기대 로그-베이즈 요인이 쿨백-라이블러 발산 유형의 양으로 수렴함을 증명하는 것.
• 연속 함수를 [0,1]에 정의하여 로그-베이즈 요인의 극한 행동을 표현하고 이산 수열과 연속 적분을 연결하는 것.
• 매개변수 공간과 관련 함수의 컴acts성과 연속성을 이용하여 극한 표현의 균일 유계성과 적분 가능성 보장하는 것.

실험 결과

연구 질문

• RQ1 시간 영역과 개인 수가 무한히 증가함에 따라, 베이즈 요인이 정확한 SDE 모형을 일관되게 선택할 수 있는가?
• RQ2 시간에 따라 변화하는 공변수와 랜덤 효과의 포함이 SDE 모형에서 베이즈 요인의 渐近 행동에 어떤 영향을 미치는가?
• RQ3 기저 과정이 완전히 관측되고 확산 계수가 알려진 경우, 베이즈 요인이 SDE에서의 모형 선택에 일관되는가?
• RQ4 SDE 기반 혼합효과 모형에서 i.i.d. 및 비-i.i.i.d. 표본 추출 방식 하에서 로그-베이즈 요인의 극한 행동은 어떠한가?
• RQ5 유한 표본 설정에서 비-渐近적 상황에서도 베이즈 요인이 변수 선택에 신뢰성 있게 사용될 수 있는가?

주요 결과

• 시간과 개인 수가 증가함에 따라 i.i.d. 및 비-i.i.i.d. 표본 추출 방식 모두에서 베이즈 요인이 거의 확실히 지수적으로 수렴한다.
• 로그-베이즈 요인이 거의 확실히 진짜 밀도와 모형 밀도 간 쿨백-라이블러 발산의 음수 배수로 수렴함을 나타내어 모형 선택의 일관성을 보여준다.
• 개별 SDE의 로그-베이즈 요인이 분산이 0이 아닌 상태에서 기대값 수렴만 하는 동안에도, 시간과 표본 크기의 동시 증가로 인해 평균 로그-베이즈 요인이 거의 확실히 수렴한다.
• 평균 로그-베이즈 요인의 극한값은 $-\delta^\infty = -\int_0^1 \delta(x, \boldsymbol{z}) \, dy$ 로 주어지며, 여기서 $\delta(x, \boldsymbol{z})$ 는 진짜 밀도와 모형 밀도 간 쿨백-라이블러 발산을 나타낸다.
• 드리프트 함수에 시간에 따라 변화하는 공변수와 랜덤 효과가 포함되더라도, 그리고 초기값이 개인 간으로 다를 경우에도 이론이 성립한다.
• 시뮬레이션 및 실제 데이터 분석을 통해 베이즈 요인이 유한 표본 설정에서도 SDE 모형의 공변수 선택에 효과적으로 작용함을 확인하였다.