[논문 리뷰] A Hierarchical Bayesian Framework for Constructing Sparsity-inducing Priors

Anthony Lee, François Caron외 2명|arXiv (Cornell University)|2010. 09. 09.

Statistical Methods and Inference참고 문헌 21인용 수 37

한 줄 요약

이 논문은 고차원 회귀에서 변수 선택을 위한 희박성 유도 사전분포를 구성하는 계층적 베이지안 프레임워크를 제안한다. 이는 일반화되고 베이지안적 해석을 제공하는 적응형 및 반복적으로 재가중된 $\beta$-노름 정규화 방법의 최대사후확률( MAP ) 추정을 가능하게 한다. 주요 기여는 표준 Lasso에 비해 추정 정확도를 향상시키고 편향을 줄이는 유연한, 사전정보에 기반한 접근법이다.

ABSTRACT

Variable selection techniques have become increasingly popular amongst statisticians due to an increased number of regression and classification applications involving high-dimensional data where we expect some predictors to be unimportant. In this context, Bayesian variable selection techniques involving Markov chain Monte Carlo exploration of the posterior distribution over models can be prohibitively computationally expensive and so there has been attention paid to quasi-Bayesian approaches such as maximum a posteriori (MAP) estimation using priors that induce sparsity in such estimates. We focus on this latter approach, expanding on the hierarchies proposed to date to provide a Bayesian interpretation and generalization of state-of-the-art penalized optimization approaches and providing simultaneously a natural way to include prior information about parameters within this framework. We give examples of how to use this hierarchy to compute MAP estimates for linear and logistic regression as well as sparse precision-matrix estimates in Gaussian graphical models. In addition, an adaptive group lasso method is derived using the framework.

연구 동기 및 목표

• 고차원 변수 선택에서 사용되는 최첨단 정규화 최적화 방법에 대한 원칙적인 해석을 제공하는 통합된 베이지안 프레임워크를 개발하는 것.
• 계층적 사전분포를 통한 적응형 비볼록 정규화의 도입을 통해 희박한 회귀에서 추정 편향을 줄이는 것, 특히 표준 Lasso에 비해 개선된 성능을 얻는 것.
• 계수에 대한 사전 지식이나 변수의 군집화를 일관된 확률적 구조 내에 자연스럽게 통합할 수 있도록 하는 것.
• 단일 계층적 사전분포 프레임워크 내에서 그룹 라소와 적응형 라소 방법을 일반화하는 것.
• 반복적으로 재가중된 $\beta$-노름 최소화와 대응하는 계산적으로 타당한 MAP 추정 절차를 EM 알고리즘을 통해 제공하는 것.

제안 방법

• 각 계수 $\beta_j$가 국소 분산 $\sigma_j^2$를 갖는 정규분포의 척도 혼합으로 간주되는 계층적 사전분포를 사용한다. 이때 $\sigma_j^2$는 일반화된 역가우스(GIG) 분포에서 추출된다.
• 계수 $\bm{\beta}$의 공동 사전분포는 다음과 같은 계층적 구조로 구성된다: $\beta_j | \sigma_j^2 \sim N(0, \sigma_j^2)$이며, $\sigma_j^2$는 초모수 $a_j, b_j$를 갖는 GIG 분포를 따른다.
• 이 계층적 구조는 MAP 추정에서 비볼록이고 희박성 유도 성질을 갖는 정규화를 유도하며, $q=1$일 경우 재가중된 $\ell_1$-노름 또는 적응형 라소와 동일하다.
• 기대치 최대화(EM) 알고리즘을 유도하여 $\bm{\beta}$와 가중치 $w_j^{(t)} = (a_j + 1)/(b_j + |\beta_j^{(t)}|)$를 반복적으로 갱신함으로써, 반복적으로 재가중된 $\ell_1$-최소화를 유도한다.
• 계수 그룹에 공통 초모수를 할당하여 이 프레임워크는 자연스럽게 군집 희박성으로 확장되며, 적응형 그룹 라소를 가능하게 한다.
• 가우시안 그래픽 모델의 경우, 정밀행렬 요소에 동일한 계층적 구조를 적용하여, $\Omega_{ij}$에 대해 적응형 $\ell_1$-정규화가 적용된 MAP 추정기를 도출한다.

실험 결과

연구 질문

• RQ1 계층적 베이지안 프레임워크는 적응형 라소와 반복적으로 재가중된 $\ell_1$-최소화와 같은 인기 있는 정규화 최적화 방법에 대해 통합된 베이지안적 해석을 제공할 수 있는가?
• RQ2 계수에 대한 사전 지식이나 변수의 군집화 정보를 희박성 유도 사전분포에 자연스럽게 통합할 수 있는가?
• RQ3 제안된 계층적 사전분포는 표준 라소에 비해 거짓 양성 및 거짓 음성 비율 측면에서 더 나은 변수 선택 성능을 보일 수 있는가?
• RQ4 이 프레임워크는 적응형 정규화를 적용한 가우시안 그래픽 모델에서 희박한 정밀행렬 추정으로 확장될 수 있는가?
• RQ5 초모수 선택(예: $a_j, b_j$)은 추정 정확도와 모델 선택 일致성에 어떤 영향을 미치는가?

주요 결과

• 표본수 $n=80$인 로지스틱 회귀에서, 초모수 $(a,b)=(2,0.5)$를 갖는 HAL은 표준 라소의 62.1%에 비해 99.2%의 정확한 모델 선택률을 달성했다.
• $(a,b)=(2,0.1)$ 및 $a_2=b_2=a_5=b_5=2$를 갖는 HAL은 성능이 열악했으며(0% 정확도) 초모수 선택에 대한 민감성을 보였다.
• 표본수 $n=40$인 가우시안 그래픽 모델에서, $(a,b)=(1,0.075)$를 갖는 HAL은 평균 오차 2.594와 65.4%의 정확한 간선 복원률을 기록했으며, 라소의 평균 오차 4.676와 23.9%의 정확도에 비해 뛰어난 성능을 보였다.
• 거짓 양성과 거짓 음성 비율을 균형 잡는 데 초모수를 조정한 HAL(예: $(a,b)=(1,0.075)$)은 라소에 비해 오차와 오분류 비율을 크게 감소시켰다.
• 이 방법은 계층적 프레임워크를 통해 적응형 그룹 라소를 성공적으로 유도하여, 개선된 모델 선택 성능을 보이는 군집별 수축을 가능하게 했다.
• 계층에서 유도된 EM 알고리즘은 정확히 반복적으로 재가중된 $\ell_1$-최소화 알고리즘과 일치하며, 이 널리 사용되는 히우리스틱에 대한 베이지안적 정당성을 제공한다.