[논문 리뷰] Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo

Mert Gürbüzbalaban, Xuefeng Gao외 2명|arXiv (Cornell University)|2020. 07. 01.

Markov Chains and Monte Carlo Methods참고 문헌 104인용 수 16

한 줄 요약

이 논문은 원자들이 원시 데이터를 공유하지 않고도 분산된 네트워크에서 확장 가능한 베이지안 추론을 가능하게 하는 탈중앙화된 스토하스틱 그래디언트 랭드빈 동역학(DE-SGLD) 및 탈중앙화된 스토하스틱 그래디언트 해밀토니안 몬테카를로(DE-SGHMC)를 제안한다. 사후분포가 강한 로그-볼록성과 미세함을 만족할 경우, 적절한 파라미터 선택 하에 두 알고리즘은 2-워샤르슈트라인 거리에서 목표 분포의 이웃으로 선형 수렴성을 확보한다.

ABSTRACT

Stochastic gradient Langevin dynamics (SGLD) and stochastic gradient Hamiltonian Monte Carlo (SGHMC) are two popular Markov Chain Monte Carlo (MCMC) algorithms for Bayesian inference that can scale to large datasets, allowing to sample from the posterior distribution of the parameters of a statistical model given the input data and the prior distribution over the model parameters. However, these algorithms do not apply to the decentralized learning setting, when a network of agents are working collaboratively to learn the parameters of a statistical model without sharing their individual data due to privacy reasons or communication constraints. We study two algorithms: Decentralized SGLD (DE-SGLD) and Decentralized SGHMC (DE-SGHMC) which are adaptations of SGLD and SGHMC methods that allow scaleable Bayesian inference in the decentralized setting for large datasets. We show that when the posterior distribution is strongly log-concave and smooth, the iterates of these algorithms converge linearly to a neighborhood of the target distribution in the 2-Wasserstein distance if their parameters are selected appropriately. We illustrate the efficiency of our algorithms on decentralized Bayesian linear regression and Bayesian logistic regression problems.

연구 동기 및 목표

• 대규모이고 개인정보가 민감한 데이터 환경에서 탈중앙화된 베이지안 추론을 위한 확장 가능한 MCMC 방법의 부족을 해결하기 위해.
• 인기 있는 확장 가능한 MCMC 방법인 SGLD와 SGHMC를 데이터가 에이전트 간에 분산되어 있으며 공유되지 않는 탈중앙화된 네트워크로 확장하기 위해.
• 사후분포의 강한 로그-볼록성과 미세함 조건 하에서 탈중앙화된 변형에 대한 이론적 수렴 보장을 수립하기 위해.
• 개인정보 및 통신 제약 조건 하에서 탈중앙화된 베이지안 선형 회귀 및 로지스틱 회귀 과제에서의 실용적 효율성을 입증하기 위해.

제안 방법

• 가중치가 부여된 혼합 행렬을 통해 네트워크의 에이전트 간에 공감 기반 그래디언트 평균화를 사용하여 SGLD와 SGHMC를 탈중앙화된 환경에 적응시킴.
• 연속시간 SDE의 불변 측도를 유지하기 위해 동적 시간 알고리즘에 운동량과 노이즈 주입을 통합함.
• 각 에이전트의 개인적 데이터 부분집합에서 계산된 국소 스토하스틱 그래디언트를 사용하고, 이웃 간 평균화를 통해 전역 그래디언트를 근사함.
• 가중치가 부여된 네트워크 라플라시안 기반의 공감 메커니즘을 도입하여 통신 그래프 전반에서 에이전트 상태를 동기화함.
• 2-워샤르슈트라인 거리에서 목표 사후분포의 이웃으로의 선형 수렴성을 증명하기 위해 라플라스 함수 분석을 적용함.
• 미니배치 샘플링과 유한한 데이터를 가정함으로써 그래디언트 노이즈의 유한한 분산을 확보하고, 노이즈 모멘트 조건을 만족함.

실험 결과

연구 질문

• RQ1 SGLD와 SGHMC는 데이터가 공유되지 않는 탈중앙화된 네트워크에 효과적으로 적응시킬 수 있으며, 이로 인해 베이지안 추론 성질을 유지할 수 있는가?
• RQ2 탈중앙화된 SGLD 및 SGHMC의 변형이 목표 사후분포로 수렴하기 위한 조건은 무엇인가?
• RQ3 2-워샤르슈트라인 거리 기준으로 DE-SGLD와 DE-SGHMC의 수렴 속도는 어떻게 되는가?
• RQ4 개인정보 및 통신 제약 조건 하에서 탈중앙화된 베이지안 회귀 과제에서 알고리즘이 실용적으로 어떻게 성능을 발휘하는가?
• RQ5 강한 로그-볼록성과 사후분포의 미세함 조건 하에서 이론적 수렴 보장은 확립될 수 있는가?

주요 결과

• 강한 로그-볼록성과 미세함 조건 하에서 DE-SGLD와 DE-SGHMC는 2-워샤르슈트라인 거리에서 목표 사후분포의 이웃으로 선형 수렴성을 확보한다.
• 수렴 속도는 스텝 사이즈, 네트워크 연결성, 문제의 조건수에 따라 결정되는 수축 인자에 의해 지배된다.
• 적절한 파라미터 선택 하에 두 알고리즘은 유한한 두 번째 순서 모멘트 경계를 유지하여 안정성을 확보한다.
• 데이터가 미니배치로 샘플링되거나 유한한 지지역을 가질 경우 그래디언트 노이즈 분산이 균일하게 유한하게 유지되어 핵심 기술적 가정을 만족한다.
• 이론적 프레임워크는 SGLD와 SGHMC 모두에 동일하게 적용되어 탈중앙화 샘플링에서 운동량과 노이즈의 통합 분석을 가능하게 한다.
• 실험 결과는 탈중앙화된 베이지안 선형 회귀 및 로지스틱 회귀 과제에서의 효율성을 확인하며 실용적 확장성과 정확성을 입증한다.