[논문 리뷰] Nearly Optimal Variational Inference for High Dimensional Regression with Shrinkage Priors

Jincheng Bai, Qifan Song외 1명|arXiv (Cornell University)|2020. 10. 24.

Statistical Methods and Inference참고 문헌 31인용 수 4

한 줄 요약

이 논문은 무거운 尾를 가진 수축 우선순위(예: 스튜던트-t 분포)를 사용하는 고차원 선형 회귀를 위한 변분 베이지안(VB) 방법을 제안한다. 좌표 상승을 통해 공동 KL 발산을 최소화함으로써, 거의 최적의 사후 수축 속도를 달성하며, 이는 이론적 타당성을 보장하면서 MCMC에 비해 뛰어난 계산 효율성을 제공한다. 실험 결과는 더 빠른 계산 속도, 높은 추정 정확도, 낮은 변수 선택 오차를 보여준다.

ABSTRACT

We propose a variational Bayesian (VB) procedure for high-dimensional linear model inferences with heavy tail shrinkage priors, such as student-t prior. Theoretically, we establish the consistency of the proposed VB method and prove that under the proper choice of prior specifications, the contraction rate of the VB posterior is nearly optimal. It justifies the validity of VB inference as an alternative of Markov Chain Monte Carlo (MCMC) sampling. Meanwhile, comparing to conventional MCMC methods, the VB procedure achieves much higher computational efficiency, which greatly alleviates the computing burden for modern machine learning applications such as massive data analysis. Through numerical studies, we demonstrate that the proposed VB method leads to shorter computing time, higher estimation accuracy, and lower variable selection error than competitive sparse Bayesian methods.

연구 동기 및 목표

• 스pillage 유도 수축 우선순위를 사용하는 고차원 선형 회귀에 대해 계산 효율적인 베이지안 추론 방법을 개발한다.
• 적절한 우선순위 사양 하에서 변분 사후의 이론적 일致성과 거의 최적의 수축 속도를 확립한다.
• 이론적 성능는 유사하지만 계산 비용이 크게 감소한 MCMC의 확장 가능한 대안을 제공한다.
• 기존의 희소 베이지안 방법들과 비교해 추정 정확도, 변수 선택, 런타임에서의 경험적 우수성을 입증한다.

제안 방법

• 계수 β와 잠재 정밀도 매개변수 λ에 대해 변분 사후와 진정한 사후 간의 공동 KL 발산을 최소화함으로써 사후 분포를 근사하기 위해 변분 추론을 사용한다.
• 근사 사후 q(β)가 위치 μ, 척도 s, 자유도 ν를 가진 다변수 스튜던트-t 분포가 되는 평균-장 가족을 사용한다.
• 부정적 증거 하한 경계(ELBO)를 사용하여 μ, a_j, b_j, σ(모를 경우)에 대한 폐쇄형 좌표 상승 업데이트를 유도한다.
• 오차 분산 σ²가 알려져 있거나 추정된 경우, 계수의 정밀도에 대한 역감마 초우선순위를 갖는 계층적 우선순위를 사용하여 고차원 회귀에 적용한다.
• β만에 대한 이상적인 마진 KL 최소화를 이론적으로는 달성하기 어려운 반면, β와 λ에 대해 공동 KL 최소화가 계산적으로 타당한 근사임을 정당화한다.
• 작은 예제에서 공동 KL 최소화와 비교하기 위해 마진 KL 최소화에 대해 Adam 최적화기를 사용하였으며, 성능 차이가 미미함을 확인하였다.

실험 결과

연구 질문

• RQ1 스pillage 우선순위를 사용하는 변분 추론이 고차원 회귀에서 거의 최적의 사후 수축 속도를 달성할 수 있는가?
• RQ2 제안된 VB 방법의 계산 효율성은 고차원 설정에서 MCMC 기반 접근법과 비교해 어떻게 되는가?
• RQ3 β와 λ에 대해 공동 KL 최소화가 β만에 대한 이상적인 마진 KL 최소화에 가까운 근사가 되는가?
• RQ4 VB 방법은 런타임을 크게 줄이며도 높은 추정 정확도와 낮은 변수 선택 오차를 유지할 수 있는가?

주요 결과

• 적절한 우선순위 사양 하에서 제안된 VB 방법은 거의 최적의 사후 수축 속도를 달성하며, 이는 MCMC에 대한 이론적 타당한 대안으로서의 정당성을 보여준다.
• MCMC에 비해 계산 비용을 크게 감소시켜 거대한 데이터 응용 분야에서의 확장 가능한 추론을 가능하게 한다.
• 수치적 연구 결과, VB 방법은 경쟁적인 희소 베이지안 방법보다 짧은 계산 시간, 높은 추정 정확도, 낮은 변수 선택 오차를 기록하였다.
• 공동 KL 최소화와 마진 KL 최소화를 비교한 작은 예제에서는 사후 평균 추정의 오차가 미미하였으며(비제로 요소에 대해 MSE ≈ 0.011, 제로 요소에 대해 ≈ 0.0006), 공동 KL 최소화의 실용적 타당성을 검증하였다.
• 정규성 조건 하에서, VB 사후는 일관성을 보이며, 이는 X의 열 노름이 유계이고 모형 차원이 증가하지만 희소하지 않은 경우를 포함한다.