[논문 리뷰] Stochastic Gradient MCMC with Repulsive Forces

Víctor Gallego, David Rı́os Insua|arXiv (Cornell University)|2018. 11. 30.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 26

한 줄 요약

이 논문은 입자 간의 반발력(斥力)을 도입함으로써 확률적 경사 마르코프 체인 몬테카를로(SG-MCMC)와 스티븐 변분 경사 하강법(SVGD)을 통합하는 새로운 확률적 경사 MCMC 방법인 SGLD+R을 제안한다. 입자 간의 반발력과 노이즈 주입을 결합함으로써 탐색 능력이 향상되고 입자 집합 현상(particulate collapse)을 방지하며 진정한 사후분포로의 수렴을 보장한다. 이는 합성 및 실제 베이지안 신경망 작업에서 효과적인 샘플 크기와 예측 성능 향상을 통해 입증되었다.

ABSTRACT

We propose a unifying view of two different Bayesian inference algorithms, Stochastic Gradient Markov Chain Monte Carlo (SG-MCMC) and Stein Variational Gradient Descent (SVGD), leading to improved and efficient novel sampling schemes. We show that SVGD combined with a noise term can be framed as a multiple chain SG-MCMC method. Instead of treating each parallel chain independently from others, our proposed algorithm implements a repulsive force between particles, avoiding collapse and facilitating a better exploration of the parameter space. We also show how the addition of this noise term is necessary to obtain a valid SG-MCMC sampler, a significant difference with SVGD. Experiments with both synthetic distributions and real datasets illustrate the benefits of the proposed scheme.

연구 동기 및 목표

• 입자 집합 현상과 낮은 혼합 성능로 인해 복잡한 사후분포를 탐색하는 데 한계가 있는 표준 SG-MCMC와 SVGD의 문제점을 해결한다.
• SG-MCMC와 SVGD를 하나의 프레임워크로 통합하여 SG-MCMC의 확장성은 유지하면서 SVGD의 입자 반발력을 통합한다.
• 순수한 SVGD가 이 성질을 갖지 못하는 것과는 달리, 노이즈 항을 추가함으로써 진정한 사후분포로의 수렴을 보장한다.
• 대규모 베이지안 추론과 고차원 매개변수 공간에 적합한 확장성 있고 효율적인 샘플링 기법을 개발한다.
• 합성 및 실제 데이터셋에서 SGLD와 SVGD에 비해 효과적인 샘플 크기와 예측 정확도 측면에서 본 방법의 우수성을 입증한다.

제안 방법

• SVGD에서 유도된 커널 기반 기울기를 사용하여 입자 간의 반발력을 도입함으로써 SGLD를 확장한 하이브리드 샘플러 SGLD+R을 제안한다.
• SG-MCMC 샘플러로서 유효한 조건를 만족시키기 위해 입자 갱신 규칙에 노이즈 항을 도입함으로써 진정한 사후분포로의 수렴을 보장한다. 이는 SVGD와는 다름을 강조한다.
• 입자가 반발 커널을 통해 상호작용하는 다중 체인 SG-MCMC 방법으로 프레임워크를 재정의함으로써 탐색 능력 향상과 열악한 성능 감소를 개선한다.
• SGLD+R의 역학을 공식적으로 분석하기 위해 포커-플랑크 방정식을 사용하고, SVGD와 대조함으로써 유일하게 SGLD+R만이 유효한 SG-MCMC 샘플러 조건을 만족함을 보여준다.
• 확장성 확보를 위해 반발력에 RBF 커널을 사용하고, 대규모 데이터셋에서의 효율성을 확보하기 위해 미니배치 기울기를 적용한다.
• 표준 학습 프로토콜을 사용하여 베이지안 신경망에 샘플러를 적용하고, 버닝 인 이후 10단계마다 샘플을 수집하며 각 실행에 20개의 입자를 사용한다.

실험 결과

연구 질문

• RQ1 SG-MCMC와 SVGD의 조합이 대규모 베이지안 추론을 위한 더 효율적이고 정확한 샘플링 방법을 만들어낼 수 있는가?
• RQ2 입자 간의 반발력 추가가 SG-MCMC의 혼합 시간과 탐색 능력에 어떤 영향을 미치는가?
• RQ3 이러한 하이브리드 기법에서 진정한 사후분포로의 수렴을 보장하기 위해 노이즈 항이 필수적인 이유는 무엇인가?
• RQ4 제안된 방법이 실제 데이터셋에서 효과적인 샘플 크기와 예측 정확도 측면에서 기존 SGLD와 SVGD를 능가할 수 있는가?
• RQ5 고차원 매개변수 공간에서 입자 반발력은 입자 집합 현상과 사후분포 근사 정확도에 어떤 영향을 미치는가?

주요 결과

• MoE 분포에서 X의 기대값 추정 오차는 SGLD 대비 SGLD+R이 62% 감소하여 0.14에서 0.39로 감소했다.
• MoG 분포에서 E[X]의 오차는 1.42에서 1.19로 감소하여 정확도 향상을 보였다.
• Boston 주택 데이터셋에서 SGLD+R은 테스트 로그우도를 -2.551에서 -2.575로 향상시키고, RMSE를 2.392에서 2.295로 감소시켰다.
• Naval 데이터셋에서 SGLD+R은 로그우도(3.428 vs. 3.379)와 RMSE(0.008 vs. 0.008)에서 유의미한 향상을 보였으며, 분산 감소가 두드러졌다.
• Protein 데이터셋에서 SGLD+R은 로그우도를 -2.991에서 -2.987로 향상시키고, RMSE를 4.810에서 4.794로 감소시켜 모든 지표에서 일관된 성능 향상을 보였다.
• 최종 반의 교육 단계에서 반발력 기능을 비활성화해도 높은 성능를 유지함으로써, 반발력이 초기 탐색 단계에서 가장 중요함을 시사한다.