[논문 리뷰] Schwarz type model comparison for LAQ models

Shoichi Eguchi, H. Masuda|arXiv (Cornell University)|2016. 06. 06.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 3

한 줄 요약

이 논문은 국소적으로 점근적으로 제곱형(LAQ) 모형에서 모형 선택을 위한 준베이지안 정보기준(QBIC)을 제안한다. 이는 슈바르츠의 BIC을 비ergodic 및 의존성 있는 데이터 모형, 특히 랜덤한 점근적 정보행렬을 가진 모형으로 확장한 것이다. 이 방법은 경계 quasi-likelihood의 확률적 전개를 사용하며, 일반적인 LAQ 조건 하에서 모형 선택의 일致성을 확립한다. 이 조건에는 ergodic diffusion 및 비ergodic 과정이 포함된다.

ABSTRACT

For model-specification purpose, we study asymptotic behavior of the marginal quasi-log likelihood associated with a family of locally asymptotically quadratic (LAQ) statistical experiments. Our result entails a far-reaching extension of applicable scope of the classical approximate Bayesian model comparison due to Schwarz, with frequentist-view theoretical foundation. In particular, the proposed statistics can deal with both ergodic and non-ergodic stochastic-process models, where the corresponding $M$-estimator is of multi-scaling type and the asymptotic quasi-information matrix is random. Focusing on the ergodic diffusion model, we also deduce the consistency of the multistage optimal-model selection where we may select an optimal sub-model structure step by step, so that computational cost can be much reduced. We illustrate the proposed method by the Gaussian quasi-likelihood for diffusion-type models in details, together with several numerical experiments.

연구 동기 및 목표

• 고전적인 슈바르츠 BIC를 의존성 있거나 비ergodic 데이터 구조를 가진 통계 모형의 더 넓은 클래스로 확장하는 것.
• 점근적 정보행렬이 랜덤일 수 있는 국소적으로 점근적으로 제곱형(LAQ) 모형에서 베이지안 모형 비교에 대한 빈도주의 기반을 제공하는 것.
• 모형이 잘못 지정되거나 무한차원의 부수적 매개변수를 가질 경우에도 유효한 준likelihood 기반 모형 선택의 통합 프레임워크를 개발하는 것.
• ergodic diffusion 모형에서 다단계 모형 선택의 일관성을 확립하여 계산 비용을 줄이는 것.
• 다중 척도 M-추정기와 랜덤한 점근적 피셔 정보를 가진 확률과정을 다룰 수 있도록 기존의 정보기준을 일반화하는 것.

제안 방법

• 다항식 유형의 큰 편차 부등식(PLDI)을 사용하여 경계 quasi-likelihood의 점근적 전개를 유도함으로써, 랜덤한 점근적 정보에 대한 분석을 가능하게 한다.
• 확률적 전개에 기반한 준베이지안 정보기준(QBIC)을 도입하며, 관측된 정보행렬과 로그행렬식 항을 포함한다.
• Gaussian 준likelihood를 diffusion 유형 모형에 적용하여 LAQ 구조 하에서 이론적 타당성을 확보한다.
• ergodic diffusion 모형에서 이중단계 선택 절차를 적용하여 하위모형을 순차적으로 선택함으로써 계산 부담을 줄인다.
• M-추정기의 다중 척도 행동을 다루기 위해 척도 매개변수 $ a_n $ 를 사용하며, 정규화된 스코어 과정을 통해 점근적 분포를 유도한다.
• 진짜 모형이 최저의 QBIC를 갖는 확률이 $ n \to \infty $ 일 때 1로 수렴함을 보여 이론적으로 모형 선택의 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 점근적 피셔 정보행렬이 랜덤한 비ergodic 확률과정으로 슈바르츠 유형의 모형 비교를 확장할 수 있는가?
• RQ2 제안된 QBIC는 다중 척도 M-추정기와 랜덤한 점근적 정보를 가진 LAQ 모형에서 일관성을 유지하는가?
• RQ3 ergodic diffusion 모형에서 다단계 모형 선택을 적용하여 계산 비용을 줄일 수 있는가?
• RQ4 모형이 잘못 지정되었거나 무한차원 매개변수를 가진 반모형적 설정에서 QBIC는 어떻게 작동하는가?
• RQ5 비i.i.d. 설정, 예를 들어 비stationary 시계열이나 공통통합 모형에서는 고전적 BIC 형태를 회복할 수 있는가?

주요 결과

• 제안된 QBIC는 점근적 정보행렬이 랜덤하더라도 미약한 정규성 조건 하에서 LAQ 모형에서 모형 선택의 일관성을 달성한다.
• ergodic diffusion 모형에서는 다단계 최적 모형 선택 절차가 일관성이 있으며, 표본 크기가 증가함에 따라 진짜 모형을 선택할 확률이 1로 수렴한다.
• QBIC는 점근적으로 경계 quasi-likelihood를 근사하며, 진짜 모형 하에서 모형 간의 차이가 확률적으로 음수로 수렴한다.
• 이 방법은 이전 기준이 실패하는 비ergodic 및 의존성 있는 데이터 모형, 예를 들어 공통통합 및 비stationary 시계열까지 포함하여 고전적 BIC를 일반화한다.
• 준likelihood의 점근적 전개는 PLDI에 의존하며, 이는 관측된 정보행렬이 랜덤한 극한으로 수렴하더라도 QBIC 유도에 유리하다.
• 수치 실험은 Gaussian 준likelihood 설정에서 QBIC의 타당성을 확인하며, 다양한 모형 구조에서의 강건성과 일관성을 보여준다.