[논문 리뷰] Block Hyper-g Priors in Bayesian Regression

Agniva Som, Christopher M. Hans외 1명|arXiv (Cornell University)|2014. 06. 25.

Bayesian Methods and Mixture Models참고 문헌 49인용 수 6

한 줄 요약

이 논문은 블록 히퍼-g 사전분포를 소개한다. 이는 예측변수를 블록으로 분할하고 각 블록에 독립적인 히퍼-g 사전분포를 적용함으로써, 기존의 스케일-믹스처 g-사전분포에서 나타나는 유의미한 최소제곱(ELS) 추정과 조건부 린들리의 역설(CLp)과 같은 바람직하지 않은 행동을 피하는 베이지안 회귀의 새로운 사전분포이다. 이 방법은 블록 정규 설계와 점점 커지는 점근적 환경 하에서 모형 선택 및 예측의 일致성을 보장한다.

ABSTRACT

The development of prior distributions for Bayesian regression has traditionally been driven by the goal of achieving sensible model selection and parameter estimation. The formalization of properties that characterize good performance has led to the development and popularization of thick tailed mixtures of g priors such as the Zellner--Siow and hyper-g priors. The properties of a particular prior are typically illuminated under limits on the likelihood or the prior. In this paper we introduce a new, conditional information asymptotic that is motivated by the common data analysis setting where at least one regression coefficient is much larger than others. We analyze existing mixtures of g priors under this limit and reveal two new behaviors, Essentially Least Squares (ELS) estimation and the Conditional Lindley's Paradox (CLP), and argue that these behaviors are, in general, undesirable. As the driver behind both of these behaviors is the use of a single, latent scale parameter that is common to all coefficients, we propose a block hyper-g prior, defined by first partitioning the covariates into groups and then placing independent hyper-g priors on the corresponding blocks of coefficients. We provide conditions under which ELS and the CLP are avoided by the new class of priors, and provide consistency results under traditional sample size asymptotics.

연구 동기 및 목표

• 기존의 스케일-믹스처 g-사전분포가 한 계수의 크기가 나머지 계수들보다 훨씬 클 경우에 나타나는 한계를 해결하기 위해.
• 기존 g-사전분포 프레임워크에서 나타나는 두 가지 문제적 행동인 유의미한 최소제곱(ELS) 추정과 조건부 린들리의 역설(CLp)을 식별하고 체계화하기 위해.
• 예측변수의 블록마다 별개의 스케일 매개변수를 사용하는 새로운 종류의 사전분포인 블록 히퍼-g 사전분포를 제안하여 ELS와 CLP를 피하기 위해.
• 조건부 정보 점근적 환경과 전통적인 표본 크기 점근적 환경 하에서 블록 히퍼-g 사전분포의 이론적 일치성을 확립하기 위해.
• 블록별로 정규화된 설계 하에서 계산 효율성을 유지하면서도 모형 선택 및 예측 성능을 향상시키기 위해.

제안 방법

• 예측변수를 상호배타적인 블록으로 나누고 각 블록의 회귀 계수에 독립적인 히퍼-g 사전분포를 할당함으로써 블록 히퍼-g 사전분포를 구성한다.
• 각 블록의 계수는 별개의 g_i로 스케일링된 정규 사전분포를 가지며, g_i 매개변수들에 대해 하이퍼-사전분포를 설정하여 수축을 가능하게 한다.
• 설계 행렬의 블록별 직교성을 활용하여 해석적 취급 가능성 확보 및 사후 모멘트와 모형 확률 추론.
• 한 계수가 다른 계수들에 비해 점점 커지는 조건부 정보 점근적 환경 하에서 한계 행동을 연구하기 위해 이론적 분석 수행.
• 모형 평균화 및 주변 가능도 접근 모두에서 모형 선택 및 예측의 일치성 결과 도출.
• 명시적인 사후 기대값과 모형 포함 확률 계산이 가능한 블록 직교 설계 설정을 사용하여 이론적 성질 검증.

실험 결과

연구 질문

• RQ1 한 회귀 계수가 다른 계수들보다 훨씬 클 경우 표준 히퍼-g 사전분포가 바람직하지 않은 점근적 행동을 보이는가?
• RQ2 유의미한 최소제곱(ELS) 추정과 조건부 린들리의 역설(CLp) 현상이 기존 g-사전분포 프레임워크에서 모형 선택 및 추정에 얼마나 심각하게 악영향을 미치는가?
• RQ3 다양한 블록별 스케일 매개변수를 가진 사전 분포는 고리지수 계수 상황에서 ELS와 CLP를 제거할 수 있는가?
• RQ4 큰 계수 존재 조건 하에서 블록 히퍼-g 사전분포가 어떤 조건에서 모형 선택 및 예측 일치성을 달성하는가?
• RQ5 조건부 정보 한계 하에서 표준 g-사전분포와 비교해 블록 히퍼-g 사전분포의 점근적 행동과 성능은 어떠한가?

주요 결과

• 표준 히퍼-g 사전분포 및 기타 스케일-믹스처 g-사전분포는 조건부 정보 점근적 환경 하에서 사후 추정치가 최소제곱 추정치로 수렴하는 유의미한 최소제곱(ELS) 추정을 보인다.
• 이러한 사전분포들은 또한 조건부 린들리의 역설(CLp)에 시달려 진짜 계수가 다른 계수들에 비해 클 경우에 일관되지 않은 모형 선택을 초래한다.
• 블록 히퍼-g 사전분포는 각 블록에 독립적인 g-사전분포를 사용함으로써 단일 전역 스케일 매개변수의 지배를 방지함으로써 ELS와 CLP를 피한다.
• 블록별로 직교하는 설계 하에서 블록 히퍼-g 사전분포는 모형 선택 일치성을 달성하며, 표본 크기가 증가함에 따라 사후 모형 확률이 진짜 모형에 집중된다.
• 베이지안 모형 평균화(BMA) 하에서 예측 일치성이 보장되며, 모형 평균 예측자가 점점 진짜 조건부 평균에 수렴한다.
• 이론적 결과는 블록 히퍼-g 사전분포가 단일 스케일 g-사전분포의 병리적 성질을 피하면서도 바람직한 수축 및 추정 성질을 유지함을 확인한다.