[논문 리뷰] Strong Consistency of Multivariate Spectral Variance Estimators

Dootika Vats, James M. Flegal외 1명|arXiv (Cornell University)|2015. 07. 29.

Markov Chains and Monte Carlo Methods참고 문헌 62인용 수 6

한 줄 요약

이 논문은 다변량 스펙트럼 분산 추정기(MSVE)의 강한 일致성을 다변량 마르코프 체인 중심극한정리에서 일반적인 조건, 즉 다항형 에르고딕성과 모멘트 제약 조건 하에서 입증한다. MSVE와 그 고유값이 거의 확실히 진짜 공분산 행렬로 수렴함을 증명하여, 반전 가능성을 요구하지 않는 몬테카를로 시뮬레이션에서 MCMC의 오차 추정을 위한 엄밀한 다변량 프레임워크를 제공한다.

ABSTRACT

Markov chain Monte Carlo (MCMC) algorithms are used to estimate features of interest of a distribution. The Monte Carlo error in estimation has an asymptotic normal distribution whose multivariate nature has so far been ignored in the MCMC community. We present a class of multivariate spectral variance estimators for the asymptotic covariance matrix in the Markov chain central limit theorem and provide conditions for strong consistency. We examine the finite sample properties of the multivariate spectral variance estimators and its eigenvalues in the context of a vector autoregressive process of order 1.

연구 동기 및 목표

• MCMC 몬테카를로 오차 추정에서 다변량 처리의 부족을 해결하기 위해, 주로 단변량 추론에 집중해 왔다.
• 마르코프 체인 중심극한정리에서의 점근적 공분산 행렬을 위한 다변량 스펙트럼 분산 추정기(MSVE)의 클래스를 개발하기 위해.
• MSVE가 진짜 점근적 공분산 행렬의 강한 일치 추정기임을 보장하는 조건을 설정하기 위해.
• 이전의 단변량 결과보다 더 약한 가정 하에, 비역행성 체인을 포함하여 다변량 경우로 단변량 강한 일치 결과를 확장하기 위해.
• MSVE의 고유값이 진짜 점근적 공분산 행렬의 고유값을 강하게 일치하는 추정기임을 입증하여, 몬테카를로 오차의 구조에 대한 신뢰할 수 있는 추론을 가능하게 하기 위해.

제안 방법

• 마르코프 체인의 증분 과정의 스펙트럼 밀도 추정에 기반한 다변량 스펙트럼 분산 추정기(MSVE)의 클래스를 제안한다.
• 부분합 과정이 랜덤 오차 항을 가진 브라운 운동과 연결되는 다변량 강한 불변성 원리(SIP)를 적용한다.
• 블록 크기의 수열 $ b_n $ 과 가중치 $ w_n(k) $ 를 사용하는 가중치가 부여된 블록 평균화 방법을 통해 MSVE를 구성한다.
• 모멘트 및 혼합 조건 하에서 쿨레브스-필리프 강한 불변성 원리를 적용하여 추정 오차의 수렴 속도를 유도한다.
• 강한 일치성을 확보하기 위해 혼합 계수수와 모멘트의 순간에 조건을 부과하며, 특히 $ \mathbb{E}_F\|g\|^{4+\delta} < \infty $ 와 다항형 에르고딕성의 순서 $ \xi \geq (1+\epsilon)(1+2/\delta) $ 를 포함한다.
• 추정 오차를 아홉 개의 항으로 분해하고, $ n \to \infty $ 일 때 각 항이 거의 확실히 0으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 다변량 마르코프 체인 중심극한정리에서 점근적 공분산 행렬에 대한 다변량 스펙트럼 분산 추정기(MSVE)가 강하게 일치하는 것으로 입증될 수 있는가?
• RQ2 이전의 단변량 결과보다 더 약한 조건 하에서, 특히 반전 가능성을 가정하지 않고 MSVE의 강한 일치성이 유지되는가?
• RQ3 MSVE의 고유값도 진짜 점근적 공분산 행렬의 고유값을 강하게 일치하는 추정기인가?
• RQ4 다항형 에르고딕성과 모멘트 조건 하에서 MSVE의 수렴 속도를 특성화할 수 있는가?
• RQ5 이론적 강건성과 일반성 측면에서 기존의 단변량 추정기와 비교해 MSVE는 어떻게 다른가?

주요 결과

• 다변량 스펙트럼 분산 추정기 $ \widehat{\Sigma}_{S} $ 는 점근적 공분산 행렬 $ \Sigma $ 에 대해 강하게 일치한다. 즉, $ n \to \infty $ 일 때 $ \widehat{\Sigma}_{S} \to \Sigma $ 이 거의 확실히 성립한다.
• MSVE의 고유값 역시 $ \Sigma $ 의 고유값을 강하게 일치하는 추정기이며, 이는 분산-공분산 행렬의 구조에 대한 신뢰할 수 있는 추론을 보장한다.
• 강한 일치성은 $ \mathbb{E}_F\|g\|^{4+\delta} < \infty $ 와 어떤 $ \epsilon > 0 $ 에 대해 다항형 에르고딕성의 순서 $ \xi \geq (1+\epsilon)(1+2/\delta) $ 를 만족할 경우 성립한다.
• 증명 과정에서 $ |\widehat{\Sigma}_{ij} - \Sigma_{ij}| $ 의 분해에 포함된 아홉 개의 오차 항 모두가 거의 확실히 0으로 수렴함을 입증하여 전체 일치성을 확인한다.
• 이전의 단변량 강한 일치 결과(예: Atchadé, 2011; Flegal과 Jones, 2010)를 더 약한 가정, 비역행성 체인 포함 하에서 다변량 설정으로 일반화한다.
• 이전 연구에서 사용된 Geyer(1992)와 Kosorok(2000)의 반전 가능성 가정에 의존하지 않아도 되므로 적용 범위가 넓어진다.