[논문 리뷰] A Variational Algorithm for Bayesian Variable Selection

Xichen Huang, Jin Wang외 1명|arXiv (Cornell University)|2016. 02. 24.

Statistical Methods and Inference참고 문헌 12인용 수 15

한 줄 요약

이 논문은 특징 수가 표본 크기와 함께 지수적으로 증가할 때조차 渐近적 일致성을 보장하는 배치별 업데이트 방식을 사용하는 스파이크-앤플레이드 사전을 활용한 빠르고 확장 가능한 변분 베이지안 알고리즘을 제안한다. 이전의 변분 방법과 달리, 약한 정규성 조건 하에서도 빈도주의 및 베이지안 일치성을 달성한다.

ABSTRACT

There has been an intense development on the estimation of a sparse regression coefficient vector in statistics, machine learning and related fields. In this paper, we focus on the Bayesian approach to this problem, where sparsity is incorporated by the so-called spike-and-slab prior on the coefficients. Instead of replying on MCMC for posterior inference, we propose a fast and scalable algorithm based on variational approximation to the posterior distribution. The updating scheme employed by our algorithm is different from the one proposed by Carbonetto and Stephens (2012). Those changes seem crucial for us to show that our algorithm can achieve asymptotic consistency even when the feature dimension diverges exponentially fast with the sample size. Empirical results have demonstrated the effectiveness and efficiency of the proposed algorithm.

연구 동기 및 목표

• 스파이크-앤플레이드 사전을 사용하는 베이지안 변수 선택을 위한 MCMC의 빠르고 확장 가능한 대안을 개발하기 위해.
• 표본 크기 n과 함께 빠르게 증가하는 p에 대해 MCMC의 계산적 병목 현상을 해결하기 위해.
• 약한 정규성 조건 하에서도 변분 추론 알고리즘의 빈도주의 및 베이지안 일치성을 이론적으로 확립하기 위해.
• p가 n에 대해 지수적으로 발산할 때 배치별 업데이트가 일치성을 달성하는 데 필수적임을 입증하기 위해.
• 상관관계가 높은 고차원 설정에서 순차적 업데이트 방식보다 우수한 수렴성과 성능을 보이는 결정론적이고 수렴 가능한 알고리즘을 제공하기 위해.

제안 방법

• 회귀 계수 β와 포함 지표 γ의 공동 사후분포에 대한 변분 베이지안 근사를 사용한다.
• 모든 특징 파라미터를 동시에 업데이트하는 배치별 업데이트 방식을 적용하여 고차원 또는 상관관계가 높은 설정에서 오차 누적을 방지한다.
• 사후분포에 대해 평균장 근사를 적용하여 변분 분포를 q(β, γ) = q(β|γ)q(γ)로 인과적으로 분해한다.
• 로그-분할 함수와 모멘트 생성 함수를 사용하여 변분 파라미터에 대한 폐쇄형 업데이트를 유도한다.
• 최종 모형 선택을 위해 후행 포함 확률 φj 기반의 임계값 규칙을 도입한다.
• 집중 불등식과 β 및 w_n의 모멘트에 대한 渐近적 경계를 사용하여 수렴성과 일치성 증명.

실험 결과

연구 질문

• RQ1 예측 변수 수 p가 표본 크기 n과 함께 지수적으로 증가할 때, 결정론적 변분 알고리즘이 빈도주의 선택 일치성을 달성할 수 있는가?
• RQ2 고차원 및 상관관계가 높은 설계에서 변분 추론의 배치별 업데이트 방식이 순차적 업데이트에 비해 일치성과 강인성 측면에서 뛰어나게 되는가?
• RQ3 변분 사후분포가 참 모형에 집중하는 조건은 무엇인가, 이를 통해 베이지안 일치성을 확보할 수 있는가?
• RQ4 폐쇄형 사후분포가 없음에도 불구하고 고차원 변수 선택에서 변분 베이지안 방법에 대한 이론적 일치성을 확립할 수 있는가?
• RQ5 v₁ 및 an과 같은 초모수의 선택이 알고리즘의 수렴성과 일치성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 알고리즘은 빈도주의 선택 일치성을 달성한다. 즉, n → ∞ 일 때 참 모형 S*n을 확률 1로 정확히 식별한다.
• 알고리즘은 베이지안 일치성을 확보한다. p ≺ exp(n^{(a−1−η₃)/2}) 이고 v₁ 이 지수적 속도로 ∞로 수렴할 경우, 참 모형의 사후확률 q(γ*) → 1 이다.
• 배치별 업데이트 방식은 일치성에 필수적이다. 이와 동일한 조건 하에서 순차적 업데이트(예: Carbonetto & Stephens, 2012)는 일치성을 달성하지 못한다.
• w_n에 대한 변분 근사의 분산은 O(σ² / λ_n1) 이하로 유계이므로 고차원 영역에서 안정성을 확보한다.
• p, n 및 신호 강도에 대한 약한 정규성 조건 하에서, 불필요한 변수의 포함 확률 φj 는 확률적으로 0으로 수렴하고, 관련 있는 변수의 경우 1로 수렴한다.
• 표본 크기가 크면 후행 포함 확률이 0 또는 1 근처에 집중하므로, 알고리즘이 한 번의 반복 내에 높은 확률로 수렴한다.