[논문 리뷰] Extended Stochastic Gradient MCMC for Large-Scale Bayesian Variable Selection

Qifan Song, Yan Sun외 2명|arXiv (Cornell University)|2020. 02. 07.

Markov Chains and Monte Carlo Methods참고 문헌 7인용 수 4

한 줄 요약

이 논문은 차원이 변하는 모델과 결측 데이터를 포함한 고차원, 대규모 환경에서 확률적 변수 선택을 위한 확장된 스토하스틱 그래디언트 랭드비안 동역학(SGLD) 알고리즘을 제안한다. 잠재 변수를 통합함으로써, 고정된 데이터 사용량과 파라미터 분포의 하한이 필요 없이 효율적이고 일致된 사후 추론을 달성한다. 이는 기존의 MCMC 및 기존의 확장 가능한 대안들보다 확장성과 실용성 면에서 뛰어나다.

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (MCMC) algorithms have received much attention in Bayesian computing for big data problems, but they are only applicable to a small class of problems for which the parameter space has a fixed dimension and the log-posterior density is differentiable with respect to the parameters. This paper proposes an extended stochastic gradient MCMC lgoriathm which, by introducing appropriate latent variables, can be applied to more general large-scale Bayesian computing problems, such as those involving dimension jumping and missing data. Numerical studies show that the proposed algorithm is highly scalable and much more efficient than traditional MCMC algorithms. The proposed algorithms have much alleviated the pain of Bayesian methods in big data computing.

연구 동기 및 목표

• 기존의 스토하스틱 그래디언트 MCMC 방법은 고정된 차원과 미분 가능한 사후 문제에 국한되어 있다는 한계를 해결하기 위해.
• 파라미터 차원이 반복 과정 동안 변화하는 변수 선택과 결측 데이터를 포함한 대규모 설정에서 확장 가능한 베이지안 추론을 가능하게 하기 위해.
• 반복 과정당 고정된 데이터 샘플 크기를 유지함으로써 변수적 데이터 소비와 하한 요구 조건을 피함으로써 계산 효율성을 유지하기 위해.
• 고차원 및 대표본 환경에서 일관된 사후 추정을 달성하여 진정한 사후분포로 수렴함을 보장하기 위해.

제안 방법

• 변수 선택에서의 모델 지표 또는 결측 데이터 값과 같은 잠재 변수를 도입하여 사후 분포를 재매개변수화하고, 변화하는 차원 공간에서 그래디언트 기반 샘플링을 가능하게 한다.
• 잠재 변수 조건 하에 파라미터에 대한 사후분포의 로그 미분 계수를 위한 일반적인 항등식을 유도하여 스토하스틱 그래디언트 업데이트를 가능하게 한다.
• 미니배치 데이터를 사용해 그래디언트를 추정함으로써 스토하스틱 그래디언트 랭드비안 동역학(SGLD)을 변형하여 반복 과정당 고정된 계산 비용을 확보한다.
• 중간값 정리와 농도 부등식을 활용해 전체 데이터와 미니배치 사후 확률 간의 차이를 근사하여 점근적 일관성을 입증한다.
• 법의 큰 수와 중심극한정리를 적용하여 사후 모형 확률의 경험 평균이 정규 조건 하에 진짜 사후분포로 수렴함을 증명한다.
• 이중 레벨 샘플링 기법을 적용: 내부 루프는 파라미터가 주어졌을 때 모형 지표 샘플링, 외부 루프는 미니배치 그래디언트를 사용한 SGLD를 통한 파라미터 업데이트.

실험 결과

연구 질문

• RQ1 스토하스틱 그래디언트 MCMC는 반복 과정에서 파라미터 수가 변하는 고차원 베이지안 변수 선택 문제로 확장될 수 있는가?
• RQ2 대규모 데이터에서 사후 차원이 변할 경우, 확장 가능한 MCMC 알고리즘이 일관성과 효율성을 유지할 수 있는가?
• RQ3 미니배치 기반 사후 추정치가 차원이 변하는 모델에서 진짜 사후분포로 수렴하기 위한 조건은 무엇인가?
• RQ4 제안된 방법은 파라미터 분포의 하한이 필요한 것을 피할 수 있는가? 이는 실무에서 자주 불가능한 조건이기 때문이다.
• RQ5 수렴성과 계산 비용 측면에서 기존의 MCMC 및 다른 확장 가능한 대안들에 비해 알고리즘 성능는 어떻게 되는가?

주요 결과

• 제안된 확장된 SGLD 알고리즘은 사후 모형 확률의 일관된 추정을 달성하며, 반복 수 $ T $ 와 표본 크기 $ N $ 이 증가함에 따라 경험 평균이 진짜 사후분포로 수렴한다.
• 모든 모형 $ S $ 에 대해 미니배치와 전체 데이터 사후 확률 간의 차이는 $ \exp(-N\delta/2) + 1/|\mathcal{S}|^{\nu} $ 로 유계되며, $ p \prec n \leq N $ 조건 하에 0으로 수렴한다.
• 이 방법은 반복 과정당 고정된 데이터 소비를 보장하여, 데이터 소비량이 변하는 미니배치 메트로폴리스-해스팅스 알고리즘과는 달리 확장성 면에서 크게 향상된다.
• 알고리즘은 파라미터 분포의 하한이 필요 없어, 정확한 미니배치 메트로폴리스-해스팅스 방법의 핵심적 한계를 극복한다.
• 수치 실험 결과는 이 방법이 매우 확장 가능하며, 특히 고차원 변수 선택 환경에서 기존의 MCMC에 비해 훨씬 더 효율적임을 확인한다.
• 경험 모형 확률 추정기의 수렴 속도는 $ O_p(T^{-1/2}) + \exp(-N\delta/2) + O_p(m^{-1/2}) $ 로 표현되며, $ T, N \to \infty $ 일 때 0으로 수렴하여 점근적으로 편향이 없는 것을 보장한다.