[논문 리뷰] Semiparametric Bernstein-von Mises Theorem: Second Order Studies

Yun Yang, Guang Cheng외 1명|arXiv (Cornell University)|2015. 03. 16.

Statistical Methods and Inference참고 문헌 28인용 수 5

한 줄 요약

이 논문은 이阶 semiparametric Bernstein-von Mises 정리(이하 BvM 정리)를 확립하여, 비모수 성분의 베이지안 추정 정확도가 높아질수록 모수 성분에 대한 빈도주의 추론 정확도가 향상됨을 보여준다. 이는 비모수 성분에 대한 정확한 베이지안 추정이 모수 성분에 대한 빈도주의 추론 정확도를 높인다는 것을 의미한다. 새로운 종속형 사전분포 클래스를 제안하여 이阶 빈도주의 타당성과 비모수 성분의 매끄러움에 대한 적응성을 보장하며, 이는 일반적으로 사용되는 독립형 사전분포가 약한 정규성 조건 하에서 실패할 수 있음을 고려할 때 뛰어난 성능을 발휘한다.

ABSTRACT

The major goal of this paper is to study the second order frequentist properties of the marginal posterior distribution of the parametric component in semiparametric Bayesian models, in particular, a second order semiparametric Bernstein-von Mises (BvM) Theorem. Our first contribution is to discover an interesting interference phenomenon between Bayesian estimation and frequentist inferential accuracy: more accurate Bayesian estimation on the nuisance function leads to higher frequentist inferential accuracy on the parametric component. As the second contribution, we propose a new class of dependent priors under which Bayesian inference procedures for the parametric component are not only efficient but also adaptive (w.r.t. the smoothness of nonparametric component) up to the second order frequentist validity. However, commonly used independent priors may even fail to produce a desirable root-n contraction rate for the parametric component in this adaptive case unless some stringent assumption is imposed. Three important classes of semiparametric models are examined, and extensive simulations are also provided.

연구 동기 및 목표

• 반모수 베이지안 모형에서 모수 성분의 주변 사후분포의 이阶 빈도주의 성질을 연구한다.
• 비모수 성분의 베이지안 추정 정확도와 모수 성분에 대한 빈도주의 추론 정확도 간의 상호작용을 이해한다.
• 비모수 성분의 매끄러움에 적응 가능하고 이阶 빈도주의 타당성을 보장하는 새로운 종속형 사전분포 클래스를 개발한다.
• 강한 가정 없이도 독립형 사전분포가 모수 성분에 대해 루트-n 수축 속도를 확보하지 못할 수 있음을 보여준다.
• 세 가지 중요한 반모수 모형과 광범위한 시뮬레이션을 통해 이론적 결과를 검증한다.

제안 방법

• 반모수 BvM 정리의 나머지 항을 특성화하기 위해 로그우도비의 이阶 전개를 유도한다.
• 표본 과정 이론과 엔트로피 경계를 사용하여 국소화된 매개변수 공간에서 효율적 스코어 함수의 확률적 변동성을 제어한다.
• 재생 커널 힐버트 공간(RKHS) 구조를 통해 진짜 함수의 매끄러움을 일치시키는 새로운 종속형 사전분포 클래스를 제안한다.
• 테일러 전개와 중심극한정리를 적용하여 효율 추정량 주변의 사후 집중을 근사한다.
• 모수 성분의 주변 사후분포와 정규 근사 간의 전체 변동 노름 수렴을 확립하며, 나머지 항은 $ O_P( ho_n^2 ho_n) $ 의 순서를 가진다. 여기서 $ ho_n $ 은 비모수 성분의 사후 수축 속도이다.
• 특히 조건부 $ L_2 $-노름 커버링 엔트로피와 스코어 함수의 유계 변동성을 활용하여 조건 (A1)–(A6)를 검증한다.

실험 결과

연구 질문

• RQ1 비모수 성분의 베이지안 추정 정확도가 모수 성분에 대한 빈도주의 추론 타당성에 어떻게 영향을 미치는가?
• RQ2 비모수 성분의 매끄러움에 적응 가능하고 이阶 빈도주의 타당성을 보장하는 종속형 사전분포 클래스를 구성할 수 있는가?
• RQ3 왜 일반적으로 사용되는 독립형 사전분포가 강한 가정 없이도 모수 성분에 대해 루트-n 수축 속도를 확보하지 못하는가?
• RQ4 반모수 Bernstein-von Mises 정리의 나머지 항의 감쇠 속도는 무엇이며, 이는 비모수 성분의 사후 수축 속도와 어떻게 관련되는가?
• RQ5 이론적 결과가 부분선형 모형과 현재 상태 코크스 모형과 같은 다양한 반모수 모형에 얼마나 일반적으로 적용되는가?

주요 결과

• 반모수 BvM 정리의 이阶 나머지 항은 $ O_{P}( ho_n^2 ho_n) $ 의 순서를 가지며, 로그 인자까지 고려할 때 이 순서를 유지한다. 여기서 $ ho_n $ 은 비모수 성분의 사후 수축 속도이다.
• 간섭 현상이 입증되었다: 비모수 성분의 베이지안 추정 정확도가 향상될수록 모수 성분에 대한 빈도주의 추론 정확도가 높아진다.
• 제안된 종속형 사전분포 클래스는 비모수 성분의 매끄러움에 적응 가능하고 이阶 빈도주의 타당성을 확보하며, 독립형 사전분포가 약한 정규성 조건 하에서 실패할 수 있는 상황에서도 성능을 유지를 한다.
• 부분선형 모형에서는 적절한 가우시안 프로세스 사전분포를 사용할 경우, 사후 수축 속도 $ ho_n = n^{-rac{eta}{2eta + d}} ( ext{log} hinspace n)^{rac{1}{2}} $ 가 거의 최소 최대 최적이다.
• 모수 성분의 신뢰구간은 $ ho_n $ 에 의해 결정되는 이阶 빈도주의 타당성을 확보하며, 이는 비모수 추정의 정확성의 중요성을 확인한다.
• 현재 상태 코크스 모형과 부분선형 모형을 포함한 세 가지 핵심 반모수 모형에 대해 광범위한 시뮬레이션을 통해 이론적 결과가 검증되었다.