[논문 리뷰] A framework for posterior consistency in model selection

David Rossell|arXiv (Cornell University)|2018. 06. 11.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 선형 회귀에서 베이지안 모델 선택을 분석하기 위해 유한 표본 프레임워크를 제안하며, 사전 분포 선택과 표본 크기, 신호 대 잡음 비율, 차원 수, 희소성 등의 문제 특성 간의 연관성을 후행 일致성 및 모델 선택 정확도와 연결한다. $L_0$ 페널티와 의사사후확률에 대한 유한 표본 속도를 규명함으로써, 점근적 최적성은 희소 사전과 모형 불일치 상황에서 유한 표본에서의 능력 손실로 인해 잘못된 지침을 줄 수 있음을 드러내며, 이는 중간 크기의 $n$ 에서조차도 성립한다. 이는 점진적 행동만을 기반으로 하기보다는 데이터에 특화된 특성에 따라 절차를 평가할 필요성을 강조한다.

ABSTRACT

We develop a framework to help understand frequentist properties of Bayesian model selection, specifically its ability to select the (Kullback-Leibler) optimal model and portray model selection uncertainty. We outline its general basis and then focus on linear regression. The contribution is not proving consistency under given prior conditions but providing finite-sample rates that describe how model selection depends on the prior and problem characteristics such as sample size, signal-to-noise, problem dimension and true sparsity. A corollary proves a strong form of convergence for $L_0$ penalties and pseudo-posterior probabilities of interest for $L_0$ uncertainty quantification. These results unify and extend current Bayesian model selection literature and signal limitations, specifically that asymptotically optimal sparse priors can significantly reduce power even for moderately large $n$ and that less sparse priors can improve power trade-offs not adequately captured by asymptotic rates. These issues are compounded by the fact that model misspecification often causes an exponential drop in power, as we briefly study here. Our examples confirm these findings, underlining the importance of considering the data at hand's characteristics to judge the quality of model selection procedures, rather than relying purely on asymptotics.

연구 동기 및 목표

• 베이지안 모델 선택의 빈도주의 성질, 특히 후행 일치성과 불확실성 측정을 이해하기 위한 유한 표본 프레임워크를 개발하는 것.
• 표본 크기, 신호 대 잡음 비율, 차원 수, 진짜 희소성 등의 문제 특성과 사전 분포가 모델 선택 성능에 미치는 영향을 조사하는 것.
• 점진적 일치 결과에 대한 의존성을 도전하기 위해, 점진적으로 최적인 사전 분포가 중간 표본에서 높은 유한 표본 검정력을 저해할 수 있음을 보여주는 것.
• 희소성이 덜한 사전 분포가 점진적 속도가 예측하는 것보다 더 나은 검정력 트레이드오프를 제공할 수 있으며, 특히 중간 표본에서 그러한 경향이 뚜렷하다는 것을 보여주는 것.
• 모형 불일치가 검정력에 어떤 영향을 미치는지 분석하여, 성능이 기하급수적으로 감소하는 현상을 드러내는 것.

제안 방법

• 프레임워크는 핵심 문제 특성에 따라 의존하는 유한 표본 속도를 도출함으로써, 베이지안 모델 선택에서의 후행 일치성을 분석한다.
• 선형 회귀에 초점을 맞추며, 불확실성 측정을 위한 $L_0$ 페널티와 의사사후확률을 분석한다.
• 이 방법은 $L_0$ 기반 사후확률에 대해 강한 수렴 형태를 확립하며, 그 행동이 사전 초모수와 데이터 구조와 연결됨을 보여준다.
• 특히 희소성과 덜 희소한 사전 분포 간의 다양한 사전 클래스에 대해, 유한 표본 조건 하에서 성능을 비교한다.
• 모델 선택 정확도 평가에 있어, 신호 대 잡음 비율, 차원 수, 진짜 희소성을 핵심 공변수로 통합한다.
• 이론적 유도와 구체적인 예시를 통해, 점진적 일치가 유한 표본 모델 선택을 안내하는 데에서의 한계를 보여주는 분석을 수행한다.

실험 결과

연구 질문

• RQ1 사전 분포와 표본 크기, 희소성과 같은 문제 특성이 유한 표본에서의 베이지안 모델 선택 성능에 어떻게 영향을 미치는가?
• RQ2 점진적으로 최적인 희소 사전 분포가 중간 표본에서 검정력에 얼마나 심각한 영향을 미치며, 그 이유는 무엇인가?
• RQ3 희소성이 덜한 사전 분포가 점진적 속도가 예측하는 것보다 더 나은 검정력 트레이드오프를 제공할 수 있으며, 어떤 조건에서 그러한 현상이 발생하는가?
• RQ4 모형 불일치가 베이지안 모델 선택 절차의 검정력에 어떤 영향을 미치는가?
• RQ5 선형 회귀에서 $L_0$ 페널티를 적용한 사후확률과 의사사후확률의 수렴을 지배하는 유한 표본 속도는 무엇인가?

주요 결과

• 베이지안 모델 선택에서의 후행 일치에 대한 유한 표본 속도는 표본 크기, 신호 대 잡음 비율, 차원 수, 진짜 희소성에 의해 결정된다.
• 점진적으로 최적인 희소 사전 분포는 중간 크기의 표본에서도 심각한 검정력 손실을 초래할 수 있으며, 이는 실용적 유용성을 약화시킨다.
• 희소성이 덜한 사전 분포는 점진적 이론이 예측하는 것보다 더 나은 검정력 트레이드오프를 제공하는 경우가 많으며, 특히 유한 표본에서 그러한 경향이 두드러진다.
• 모형 불일치는 검정력에 기하급수적인 감소를 초래하며, 이는 점진적 일치 결과로는 충분히 반영되지 않는다.
• $L_0$ 페널티와 의사사후확률에 대해 강한 수렴 형태가 증명되었으며, 이는 기존의 베이지안 모델 선택 이론을 통합하고 확장한다.
• 본 연구는 데이터에 특화된 특성은 점진적 성질만으로 판단하기보다는 직접 평가되어야 하며, 모델 선택 품질 평가에 있어 그 중요성을 입증한다.