[논문 리뷰] Spike and slab variational Bayes for high dimensional logistic regression

Kausik K. Ray, Botond Szabó외 1명|arXiv (Cornell University)|2020. 10. 22.

Statistical Methods and Inference참고 문헌 55인용 수 11

한 줄 요약

이 논문은 희박성 유도 사전 분포를 갖는 고차원 로지스틱 회귀에 대해 평균장 스파이크 앤 슬래브 변분 베이즈(VB) 방법을 제안하며, 희박한 진실 조건 하에서 ℓ₂ 및 예측 손실 모두에서 최적의 최소최대 수렴 속도를 달성한다. 이 방법은 조정 없이도 알려지지 않은 희박성에 적응하며, 이론적 보장에 따르면 더 무거운 尾비율을 가진 라플라스 슬래브가 가우시안 슬래브보다 VB 성능을 향상시킨다. 이는 개선된 경험적 성능을 확인한다.

ABSTRACT

Variational Bayes (VB) is a popular scalable alternative to Markov chain Monte Carlo for Bayesian inference. We study a mean-field spike and slab VB approximation of widely used Bayesian model selection priors in sparse high-dimensional logistic regression. We provide non-asymptotic theoretical guarantees for the VB posterior in both $\ell_2$ and prediction loss for a sparse truth, giving optimal (minimax) convergence rates. Since the VB algorithm does not depend on the unknown truth to achieve optimality, our results shed light on effective prior choices. We confirm the improved performance of our VB algorithm over common sparse VB approaches in a numerical study.

연구 동기 및 목표

• 희박성 유도 사전 분포를 갖는 고차원 로지스틱 회귀에 대해 확장 가능하고 이론적으로 탄탄한 변분 베이즈 접근법을 개발하는 것.
• 희박한 진실 조건 하에서 ℓ₂ 및 예측 손실에 대한 VB에 대한 비점근 이론적 보장을 수립하는 것.
• 사전 분포 슬래브의 선택(예: 라플라스 대비 가우시안)이 VB 성능과 이론적 최적성에 미치는 영향을 조사하는 것.
• VB가 알려지지 않은 희박성 수준에 의존하지 않고 최적의 수렴 속도를 달성할 수 있는지 보여주는 것.
• 희박한 베이지안 로지스틱 회귀에 효과적인 사전 분포 및 VB 캘리브레이션에 대한 실용적 통찰을 제공하는 것.

제안 방법

• 이 방법은 분해 가능하고 요약 가능한 스파이크 앤 슬래브 분포의 평균장 변분 가족을 사용하여 모델 공간의 $2^p$ 크기를 $O(p)$로 줄인다.
• 비가역 사후분포를 희박한 변분 가족에서 Kullback-Leibler 발산 최소화를 통해 근사한다.
• VB 알고리즘은 $x^2$에서의 타일러 전개를 이용한 로그우도의 하한을 사용하여 계산 가능하도록 최적화를 가능하게 한다.
• 변분 매개변수 $\mu$, $\sigma$, 및 $\gamma$의 갱신 식은 기대최대화를 통해 유도되며, $\widetilde{\eta}_i^2 = \mathbb{E}_{\mu,\sigma,\gamma}[(x_i^T\theta)^2]$이다.
• 이 방법은 로지스틱 함수의 대칭성과 볼록성 특성을 활용하여 로그우도에 대한 날카운 하한을 유도한다.
• 이론적 분석은 설계 행렬과 희박성 수준에 대한 조건 하에서 KL 발산을 경계하고 수렴 속도를 유도하는 데 기반한다.

실험 결과

연구 질문

• RQ1 평균장 스파이크 앤 슬래브 VB가 희박한 진실 조건 하에서 고차원 로지스틱 회귀에서 최적의 최소최대 수렴 속도를 달성할 수 있는가?
• RQ2 사전 분포 슬래브의 선택(라플라스 대비 가우시안)이 VB 성능과 이론적 최적성에 상당한 영향을 미치는가?
• RQ3 VB가 하이퍼파rameter, 특히 희박성 수준을 조정하지 않아도 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 설계 행렬에 어떤 조건이 성립할 경우 VB 방법이 일관되고 효율적인가?
• RQ5 VB 사후분포는 표준 희박 VB 및 다른 최첨단 베이지안 변수 선택 방법과 비교해 실제로 어떻게 성능을 보이는가?

주요 결과

• 제안된 VB 방법은 진짜 사후분포와 동일한 조건 하에서 ℓ₂ 및 예측 손실 모두에서 최적의 최소최대 수렴 속도를 달성하여 이론적 강건성을 확인한다.
• 라플라스 슬래브를 기반으로 한 VB 사후분포는 최적의 매개변수 복원을 달성하지만, 가우시안 슬래브는 과도한 수축을 유도하고 최적 성능을 달성하지 못한다.
• 비점근 경계 분석에 따르면 VB 방법은 진짜 희박성 수준를 알지 못해도 최소최대 속도로 수렴한다.
• 수치 실험 결과는 라플라스 슬래브를 사용한 VB가 추정 및 예측 정확도에서 표준 VB의 가우시안 슬래브보다 뛰어나다는 것을 확인한다.
• 이 방법은 고차원 로지스틱 회귀에 대한 최첨단 베이지안 희박 변수 선택 기법들과 실증적으로 경쟁 가능하다.
• 이론적 분석은 더 두꺼운 꼬리(예: 라플라스)를 가진 슬래브가 최적의 VB 성능을 위해 필수적임을 드러내며, 선형 회귀에서의 발견과 일치한다.