[논문 리뷰] Neuronized Priors for Bayesian Sparse Linear Regression

Minsuk Shin, Jun S. Liu|arXiv (Cornell University)|2018. 09. 29.

Gaussian Processes and Bayesian Inference참고 문헌 75인용 수 6

한 줄 요약

이 논문은 베이지안 희소 선형 회귀에서 수축 사전분포를 통합하고 확장하는 데 중점을 두는 뉴런화된 사전분포(neuronized priors)라는 새로운 프레임워크를 제안한다. 이는 계수를 가우시안 가중치와 활성화 함수를 통해 변환된 척도 변수의 곱으로 모델링함으로써, 잠재 지표 없이 효율적이고 유연한 MCMC 샘플링을 가능하게 한다. 이는 최적의 사후 수축을 달성하고 표준 스피크-앤드-슬랩 및 수축 사전분포보다 빠른 수렴 속도를 보이며, 실증적 검증을 통해 예측 및 변수 선택 성능이 동등하거나 향상됨을 보여준다.

ABSTRACT

Although Bayesian variable selection methods have been intensively studied, their routine use in practice has not caught up with their non-Bayesian counterparts such as Lasso, likely due to difficulties in both computations and flexibilities of prior choices. To ease these challenges, we propose the neuronized priors to unify and extend some popular shrinkage priors, such as Laplace, Cauchy, horseshoe, and spike-and-slab priors. A neuronized prior can be written as the product of a Gaussian weight variable and a scale variable transformed from Gaussian via an activation function. Compared with classic spike-and-slab priors, the neuronized priors achieve the same explicit variable selection without employing any latent indicator variables, which results in both more efficient and flexible posterior sampling and more effective posterior modal estimation. Theoretically, we provide specific conditions on the neuronized formulation to achieve the optimal posterior contraction rate, and show that a broadly applicable MCMC algorithm achieves an exponentially fast convergence rate under the neuronized formulation. We also examine various simulated and real data examples and demonstrate that using the neuronization representation is computationally more or comparably efficient than its standard counterpart in all well-known cases. An R package NPrior is provided for using neuronized priors in Bayesian linear regression.

연구 동기 및 목표

• 고차원 설정에서 기존의 베이지안 변수 선택 방법, 특히 스피크-앤드-슬랩 및 수축 사전분포의 계산 비효율성과 제한된 유연성 문제를 해결한다.
• 스피크-앤드-슬랩 사전분포에서 잠재 지표 변수가 초래하는 문제를 해결하기 위해, 활성화 함수를 통한 연속적이고 미분 가능한 변환으로 이를 대체한다.
• 랩라스, 코시, 호스슈즈, 스피크-앤드-슬랩 등의 인기 있는 사전분포를 하나의 뉴런화된 형식으로 일반화하는 통합 프레임워크를 개발한다.
• 뉴런화된 사전분포가 최소 최대 사후 수축 속도를 달성할 수 있는 조건을 도출함으로써 이론적 최적성을 확보한다.
• 이산 잠재 지표를 피하는 연속적 파rameterization을 통해 확장 가능한 효율적 MCMC 추론을 가능하게 하며, 수렴 속도를 향상시킨다.

제안 방법

• 뉴런화된 사전분포를 $\theta_j = \nu_w \cdot \tau_j$ 로 정의하며, 여기서 $\nu_w \sim \pi_g$, $\tau_j \sim \pi_\tau$ 이고, 척도 $\tau_j$ 는 표준 정규 잠재 변수에 활성화 함수 $\phi(\cdot)$ 를 적용하여 변환된다.
• ReLU, 시그모이드, 소프트플러스 등의 활성화 함수를 사용하여 표준 정규 변수를 척도 파rameter로 매핑함으로써, 비공액(non-conjugate) 사전분포의 구축을 가능하게 하고, 높은 유연성을 확보한다.
• 계층 모형으로서의 결합 사전분포를 구성: $\theta_j \mid \nu_w^2, \tau_j^2 \sim N(0, \nu_w^2 \tau_j^2)$, 여기서 $\tau_j = \phi(z_j)$, $z_j \sim N(0,1)$, $\nu_w \sim \pi_g$.
• 이산 잠재 지표를 피하기 위해, 연속적이고 비제약이 있는 파rameter $\nu_w$, $z_j$, $\sigma^2$ 에 대해 하미르톤 몬테카를로(Hamiltonian Monte Carlo, HMC) 알고리즘을 구현한다.
• 뉴런화된 사전분포가 최소 최대 사후 수축 속도를 달성할 수 있는 이론적 조건을 유도함으로써, 빈도주의 최적성(frequentist optimality)을 보장한다.
• 뉴런화된 사전분포를 활용한 확장 가능한 베이지안 선형 회귀를 지원하는 R 패키지 NPrior를 개발하였으며, 이는 연속적 및 이산적 스피크-앤드-슬랩 형식을 모두 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 희소 선형 회귀에서 인기 있는 수축 및 스피크-앤드-슬랩 사전분포를 통합할 수 있는 프레임워크를 개발할 수 있는가?
• RQ2 스피크-앤드-슬랩 사전분포에서 이산 이진 잠재 지표를 연속적이고 미분 가능한 활성화 함수로 대체할 경우, MCMC 효율성과 사후 샘플링 속도가 향상되는가?
• RQ3 고차원 설정에서 뉴런화된 사전분포 형식이 최소 최대 사후 수축 속도를 달성할 수 있는 조건은 무엇인가?
• RQ4 실제 및 시뮬레이션 데이터에서 뉴런화된 사전분포의 계산 효율성은 표준 스피크-앤드-슬랩 및 수축 사전분포와 비교해 어떻게 되는가?
• RQ5 공액성이 일반적으로 없는 비선형 모델, 예를 들어 로지스틱 회귀에 대해 뉴런화된 프레임워크를 확장할 수 있는가?

주요 결과

• 특정 활성화 함수 및 사전분포 조건 하에서 뉴런화된 사전분포 형식은 최소 최대 사후 수축 속도를 달성한다.
• 제안된 MCMC 알고리즘은 뉴런화된 형식 하에서 지수적 속도로 수렴하며, 혼합성과 수렴 속도 면에서 기존 방법을 능가한다.
• 보스턴 주택 및 바르데-비드 뇌증후군 데이터 세트에서, 뉴런화된 사전분포(N-SpSL-C(RW))는 동일한 시간 내에 표준 스피크-앤드-슬랩 방법보다 50% 높은 유효 표본 크기(Essential Sample Size, ESS)를 달성하였다.
• 바르데-비드 뇌증후군 데이터 세트에서 N-SpSL(MAP)는 모든 방법 중 가장 낮은 외부 예측 평균 제곱 오차(MSPE)를 기록하였으며, 표준 스피크-앤드-슬랩 사전분포조차도 능가하였다.
• 뉴런화된 호스슈즈 사전분포(N-SpSL-C(RW))는 표준 호스슈즈 사전분포보다 훨씬 더 효율적인 계산을 보였으며, 시뮬레이션 및 실제 데이터에서 수렴 속도가 빠르고 ESS가 높았다.
• CRAN에 공개된 R 패키지 NPrior를 통해 연구자들은 뉴런화된 사전분포를 다양한 수축 및 변수 선택 모델에 쉽게 구현할 수 있다.