[논문 리뷰] Bayesian Characterizations of Properties of Stochastic Processes with Applications

Sucharita Roy, Sourabh Bhattacharya|arXiv (Cornell University)|2020. 01. 01.

Point processes and geometric inequalities참고 문헌 61인용 수 2

한 줄 요약

이 논문은 시간적, 공간적, 시공간적 자료를 포함한 확률과정에서의 정상성과 비정상성을 특성화하기 위한 새로운 베이지안 프레임워크를 제안한다. 이는 순차적 베이지안 사후분포와 딜레트 프로세스 혼합을 통한 주파수 탐지 기반이다. 이 방법은 작은 표본과 복잡한 모델에서도 진정한 주파수와 정상성 성질을 높은 정확도로 탐지할 수 있으며, 시뮬레이션 및 실제 자료 실험에서 강력한 실증적 검증을 통과했다.

ABSTRACT

In this article, we primarily propose a novel Bayesian characterization of stationary and nonstationary stochastic processes. In practice, this theory aims to distinguish between global stationarity and nonstationarity for both parametric and nonparametric stochastic processes. Interestingly, our theory builds on our previous work on Bayesian characterization of infinite series, which was applied to verification of the (in)famous Riemann Hypothesis. Thus, there seems to be interesting and important connections between pure mathematics and Bayesian statistics, with respect to our proposed ideas. We validate our proposed method with simulation and real data experiments associated with different setups. In particular, applications of our method include stationarity and nonstationarity determination in various time series models, spatial and spatio-temporal setups, and convergence diagnostics of Markov Chain Monte Carlo. Our results demonstrate very encouraging performance, even in very subtle situations. Using similar principles, we also provide a novel Bayesian characterization of mutual independence among any number of random variables, using which we characterize the properties of point processes, including characterizations of Poisson point processes, complete spatial randomness, stationarity and nonstationarity. Applications to simulation experiments with ample Poisson and non-Poisson point process models again indicate quite encouraging performance of our proposed ideas. We further propose a novel recursive Bayesian method for determination of frequencies of oscillatory stochastic processes, based on our general principle. Simulation studies and real data experiments with varieties of time series models consisting of single and multiple frequencies bring out the worth of our method.

연구 동기 및 목표

• 모수적 및 비모수적 확률과정에서의 정상성과 비정상성에 대한 베이지안 특성화를 개발하기 위해.
• 서로 독립성 탐지 및 포아송 및 완전 공간 랜덤성과 같은 점과정의 특성화를 포함하여, 베이지안 추론을 확장하기 위해.
• 다중 및 밀도가 높은 주파수 성분이 존재하는 경우에도, 시간적 자료에서 진동 주파수를 식별하기 위한 순차적 베이지안 절차를 제안하기 위해.
• 실제 및 시뮬레이션 자료를 사용하여 시간적 자료, 공간 자료, 시공간 자료, MCMC 수렴 진단에 대해 방법을 검증하기 위해.
• 전통적 검정이 실패하는 미세한 경우, 특히 작은 표본 크기와 비삼각함수 신호에서의 강건한 성능을 입증하기 위해.

제안 방법

• 시간 간격 동안의 정상성 평가를 위해 단계별 우도 기반의 순차적 베이지안 사후분포 구성 방법을 제안한다.
• 알 수 없는 주파수 분포를 모델링하기 위해 딜레트 프로세스 혼합을 사용하여 비모수적 방식으로 진동 성분을 탐지한다.
• 경계 기반 접근법을 사용하여 경험적 누적분포함수 간의 상한 노름(sup norm)을 이용해 정상성에서의 이탈 정도를 정량화한다.
• 특히 비삼각함수 신호에서 주파수 탐지를 강화하기 위해 주파수 탐지에 유리한 변환을 통해 시간적 자료에 방법을 적용한다.
• 최적 스케일링을 위해 TMCMC(운반도 구조 기반 MCMC)를 사용하여 MCMC 수렴 진단에 프레임워크를 통합한다.
• 공분산 구조 모델링 및 엄격한 정상성 또는 공분산 정상성 탐지를 통해 방법을 공간 및 시공간 자료에 적용한다.

실험 결과

연구 질문

• RQ1 모수적 및 비모수적 설정 모두에서, 베이지안 프레임워크가 정상성과 비정상성 확률과정을 신뢰성 있게 구분할 수 있는가?
• RQ2 제안된 방법은 비삼각함수 시간적 자료에서 다중 및 밀도가 높은 주파수를 얼마나 정확하게 탐지할 수 있는가?
• RQ3 작은 표본 크기나 복잡한 자료 시나리오에서, 이 방법은 전통적 정상성 검정보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 베이지안 접근법은 독립성과 정상성을 기반으로 포아송 및 완전 공간 랜덤성과 같은 점과정을 효과적으로 특성화할 수 있는가?
• RQ5 특히 고차원 또는 다모달 사후분포에서, 순차적 베이지안 방법은 MCMC 알고리즘의 수렴을 얼마나 잘 진단할 수 있는가?

주요 결과

• 비삼각함수 신호에서 6개의 고조파를 포함하는 신호에서 진짜 주파수 2, 4, 6, 8, 10, 12를 성공적으로 탐지하였으며, 12 대신 약간의 과대추정으로 14가 추가로 탐지되었다.
• Recruitment 시계열 자료에서, 베이지안 절차는 0.02보다 略ally 높은 값과 약 0.08 주변의 주파수로 수렴하는 것으로 확인되었으며, 알려진 진동 패턴과 일치했다.
• AR(1) 및 AR(2) 모델에서, 작은 표본 크기와 모형 형태가 알려지지 않은 상황에서도 방법은 정상성을 정확히 분류하였으며, 전통적 검정보다 뛰어난 성능을 보였다.
• SOI 시계열에서 순차적 베이지안 방법은 정확한 주파수 탐지를 달성하였으며, 사후 평균이 0.08보다 略ally 높은 값으로 수렴하였다.
• 공간 및 시공간 자료에서의 강건성은 정상성 및 비정상성 성분의 혼합에서 엄격한 비정상성과 공분산 비정상성을 정확히 식별함으로써 입증되었다.
• MCMC 수렴 진단에서, 특히 고차원 및 다모달 사후분포에서 TMCMC를 사용하여 혼합성과 수렴성을 효과적으로 평가하였다.