[논문 리뷰] Bayesian model choice and information criteria in sparse generalized linear models

Rina Foygel, Mathias Drton|arXiv (Cornell University)|2011. 12. 23.

Statistical Methods and Inference참고 문헌 27인용 수 55

한 줄 요약

이 논문은 표본 크기 $ n $ 과 함께 증가하는 공변량 수 $ p $ 를 가진 고차원적이고 희소한 일반화선형모형에서 베이지안 모형선택과 확장 베이지안 정보기준(EBIC)의 渐近적 동치성을 확립한다. 특정 사전분포 하에서 두 방법 모두 참 모형 중 가장 작은 모형을 확률이 1로 수렴하는 방식으로 일致적으로 선택함을 증명하며, EBIC에 대한 빈도주의적 정당성과 고차원적 희소 설정에서 라플라스 근사에 대한 균일 오차 경계를 제공한다.

ABSTRACT

We consider Bayesian model selection in generalized linear models that are high-dimensional, with the number of covariates p being large relative to the sample size n, but sparse in that the number of active covariates is small compared to p. Treating the covariates as random and adopting an asymptotic scenario in which p increases with n, we show that Bayesian model selection using certain priors on the set of models is asymptotically equivalent to selecting a model using an extended Bayesian information criterion. Moreover, we prove that the smallest true model is selected by either of these methods with probability tending to one. Having addressed random covariates, we are also able to give a consistency result for pseudo-likelihood approaches to high-dimensional sparse graphical modeling. Experiments on real data demonstrate good performance of the extended Bayesian information criterion for regression and for graphical models.

연구 동기 및 목표

• 표본 크기 $ n $ 이 증가함에 따라 $ p \gg n $ 이지만 진정으로 활성화된 공변량 수가 적은 고차원적 희소 일반화선형모형에서 베이지안 모형선택의 일치성을 확립하는 것.
• 특정 사전분포 하에서 확장 베이지안 정보기준(EBIC)이 베이지안 모형선택과 渐近적으로 동치임을 보이는 것.
• 고차원적 희소 모형에서 마진형 우도의 라플라스 근사에 대한 균일 오차 경계를 제공하는 것.
• 희소 고차원 그래프 모형, 특히 아이징 모형을 포함한 고차원적 희소 그래프 모형에서 의사우도 접근법으로의 일치 결과 확장.
• 실제 데이터에서 회귀 및 그래프 모형에 대한 EBIC의 경험적 성능을 시연하는 것.

제안 방법

• 표본 크기 $ n \to \infty $ 과 함께 $ p \to \infty $ 가 되는 渐近적 프레임워크를 사용하며, 활성 공변량의 수에 대한 희소성 조건을 적용한다.
• 최대우도추정치를 중심으로 한 두 번째 차수 전개를 통해 마진형 우도 적분에 대해 라플라스 근사를 적용한다.
• 고려 중인 모든 모형에 대해 라플라스 근사의 나머지 항에 대한 균일한 경계를 유도한다.
• 지정된 사전분포 하에서 참 모형의 사후확률이 1로 수렴함을 증명한다.
• 집중부등식과 행렬 집중을 활용하여 관측치 블록 단위에서 로그우도의 헤시안을 제어한다.
• 체르노프 부등식을 적용하여 모형 일치성에 필요한 충분한 수의 블록이 모멘트 조건과 유계성 조건을 모두 만족함을 보인다.

실험 결과

연구 질문

• RQ1 고차원적 희소 GLMs에서 베이지안 모형선택은 $ n \to \infty $ 일 때 가장 작은 참 모형을 일관되게 식별하는가?
• RQ2 특정 사전분포 하에서 확장 베이지안 정보기준(EBIC)은 베이지안 모형선택과 渐近적으로 동치인가?
• RQ3 고차원적 희소 모형에서 마진형 우도의 라플라스 근사에 대해 균일 오차 경계를 설정할 수 있는가?
• RQ4 일치성 결과는 고차원적 희소 그래프 모형에서 의사우도 방법으로까지 확장되는가?
• RQ5 실제 데이터에서 EBIC는 회귀 및 그래프 모형 설정에서 얼마나 잘 성능을 발휘하는가?

주요 결과

• 지정된 사전분포 하에서, $ n \to \infty $ 일 때 베이지안 모형선택은 확률이 1로 수렴하는 방식으로 가장 작은 참 모형을 일관되게 선택한다.
• 확장 베이지안 정보기준(EBIC)은 고차원적 희소 설정에서 베이지안 모형선택과 渐近적으로 동치이다.
• 마진형 우도의 라플라스 근사에 대한 균일 오차 경계가 확립되었으며, 나머지 항은 확률적으로 유계이다.
• 베이지안 및 EBIC 절차 모두에서 가장 작은 참 모형이 확률이 1로 수렴하는 방식으로 선택된다.
• 실제 데이터에 대한 경험적 실험 결과, EBIC는 모두 회귀 및 그래프 모형 설정에서 뛰어난 성능을 보였다.
• 일치성 결과는 고차원적 희소 아이징 모형에서 의사우도 접근법으로까지 확장된다.