[논문 리뷰] Bernstein - von Mises Theorem for growing parameter dimension

Vladimir Spokoiny|arXiv (Cornell University)|2013. 02. 14.

Advanced Topology and Set Theory참고 문헌 2인용 수 28

한 줄 요약

이 논문은 차원 $ p $ 가 증가하는 파라미터 모델에 대해 비점근적이고 강건한 베르누이-폰 마이제스(Bernstein-von Mises, BvM) 정리를 수립한다. 조건 $ p^3/n \to 0 $ 하에서, 사후 분포는 최대우도추정량(MLE) 근처에 평균을 가지며, 피셔 정보의 역행렬과 일치하는 분산을 가지는 정규분포가 되며, 이는 모형 오특성과 유한 표본에서도 성립한다. 결과는 표본 크기 $ n $ 와 차원 $ p $ 에 대해 명시적으로 오차 항을 제어하기 위해 랜덤 필드의 최댓값에 대한 새로운 경계를 사용한다.

ABSTRACT

This paper revisits the prominent Fisher, Wilks, and Bernstein -- von Mises (BvM) results from different viewpoints. Particular issues to address are: nonasymptotic framework with just one finite sample, possible model misspecification, and a large parameter dimension. In particular, in the case of an i.i.d. sample, the mentioned results can be stated for any smooth parametric family provided that the dimension \(p \) of the parameter space satisfies the condition "\(p^{2}/n \) is small" for the Fisher expansion, while the Wilks and the BvM results require "\(p^{3}/n \) is small".

연구 동기 및 목표

• 고차원 파라미터 모델에서의 유한 표본 및 오특성에 강건한 BvM 결과의 부족을 해결한다.
• 파라미터 차원 $ p $ 가 표본 크기 $ n $ 와 함께 증가할 때 사후 분포가 여전히 근사적으로 정규분포임을 보일 수 있는 조건을 설정한다.
• 약한 수렴 또는 중심극한정리에 의존하지 않는, 명시적 비점근적 오차 경계를 제공하여 사후 분포의 정규근사에 대해 명시적인 오차 경계를 도출한다.
• 기존의 고정된 차원에 대한 점근적 분석을 넘어, 중간 또는 작은 표본 크기에서 고차원 $ p $ 를 다룰 수 있도록, 정교한 바운딩 기법을 사용하여 고전적 BvM 결과를 확장한다.
• 사후 분포의 BvM 성질을 정당화하기 위해 국소 정규근사와 대 deviation 경계의 핵심적 역할을 명확히 하며, 중심극한정리에 의존하지 않는 근거를 제공한다.

제안 방법

• 기존 연구(SP2011)의 바운딩 장치를 향상시키기 위해, 벡터값 랜덤 필드의 최댓값에 대한 새로운 경계를 제안함으로써 오차 항을 더 엄밀하게 제어한다.
• 이 경계를 적용하여, 유한 표본에 대해 유효한 MLE 및 로그우도 초과의 비점근적 전개를 도출한다.
• MLE 근처에서 로그우도의 국소 정규근사를 사용하여, BvM가 오직 이 근사와 尾 확률 경계에 의존함을 보인다.
• 비정보적 사전과 정규 사전을 모두 고려하여, 사후 평균이 MLE에 근접하고 사후 분산이 피셔 정보의 역행렬을 추정함을 보여준다.
• $ n $ 과 $ p $ 에 대해 명시적인 오차 경계를 도출하여, $ p^3/n \to 0 $ 조건 하에서 BvM 근사가 성립함을 보이며, 피셔 전개의 유효성은 $ p^2/n \to 0 $ 만으로도 충분함을 밝힌다.
• 전통적인 약한 수렴 또는 중심극한정리의 추론을 피하고, 스토케스틱 LAN 유사 조건에 의존함으로써 오특성에 강건한 결과를 도출한다.

실험 결과

연구 질문

• RQ1 유한 표본에서 차원 $ p $ 가 증가할 때, 베르누이-폰 마이제스 정리가 유효한 임계 차원 $ p $ 는 무엇인가?
• RQ2 특히 고차원 및 오특성 있는 모형에서, 점근적 정규성 또는 약한 수렴에 의존하지 않고 BvM 현상이 정당화될 수 있는가?
• RQ3 사후 정규근사의 오차 항은 표본 크기 $ n $ 과 차원 $ p $ 에 어떻게 의존하며, 이를 명시적으로 경계할 수 있는가?
• RQ4 어떤 조건 하에서 사후 평균은 MLE를 근사하고, 사후 분산은 피셔 정보의 역행렬을 근사하는가?
• RQ5 비점근적이고 중심극한정리에 의존하지 않는 접근법을 통해, 고전적 BvM 결과를 비-i.i.d. 또는 오특성 있는 모형에 대해 유한 표본에 대해 확장할 수 있는가?

주요 결과

• 비점근적 조건 하에서, $ p^3/n \to 0 $ 이며, 적당한 정규성 및 국소 정규성 조건을 만족할 경우, 파라미터 차원 $ p $ 가 증가하는 경우에도 BvM 정리가 성립함을 보였다.
• 모형 오특성 하에서도 사후 분포는 MLE 근처에 평균을 가지며, 피셔 정보의 역행렬과 유사한 분산을 가지는 근사 정규분포가 된다.
• 사후 분포의 정규근사에 대한 명시적 오차 경계를 도출하였으며, 오차는 $ O(p^3/n) $ 의 속도로 감소함을 보였다. 이는 이전 결과보다 향상된 성능을 보였다.
• MLE는 더 약한 조건인 $ p/n \to 0 $ 하에서도 일致함을 보였고, MLE의 피셔 전개는 $ p^2/n \to 0 $ 조건 하에서 유효함을 보였다. 이는 조건의 계층적 구조를 보여준다.
• BvM 결과는 오직 로그우도의 국소 정규근사와 대 deviation 경계에 의존하며, 중심극한정리나 약한 수렴의 추론이 필요하지 않다.
• 사후 모멘트(평균 및 공분산)를 사용하여 신뢰성 있는 타원형 신뢰집합을 구성할 수 있으며, 사후 평균은 MLE의 강건한 추정량으로 사용될 수 있다.