[논문 리뷰] Hamiltonian Monte Carlo with Energy Conserving Subsampling

Khue‐Dung Dang, Matias Quiroz외 3명|arXiv (Cornell University)|2017. 08. 02.

Markov Chains and Monte Carlo Methods참고 문헌 61인용 수 12

한 줄 요약

이 논문은 동일한 데이터 부분집합을 사용해 해밀토니안 역학과 메트로폴리스-해스팅스 수락 단계를 모두 계산함으로써 높은 샘플링 효율성과 에너지 보존을 유지하는 에너지 보존 부분샘플링(HMC-ECS)이라는 해밀토니안 몽테카를로 방법을 제안한다. 이 방법은 전체 데이터에 비해 계산 비용을 크게 줄이며 대규모 데이터셋에서 정확한 베이지안 추론을 달성하며, SGLD와 SG-HMC를 능가하지만 중간 수준의 제어 변수 품질에 대해서도 강건하다.

ABSTRACT

Hamiltonian Monte Carlo (HMC) samples efficiently from high-dimensional posterior distributions with proposed parameter draws obtained by iterating on a discretized version of the Hamiltonian dynamics. The iterations make HMC computationally costly, especially in problems with large datasets, since it is necessary to compute posterior densities and their derivatives with respect to the parameters. Naively computing the Hamiltonian dynamics on a subset of the data causes HMC to lose its key ability to generate distant parameter proposals with high acceptance probability. The key insight in our article is that efficient subsampling HMC for the parameters is possible if both the dynamics and the acceptance probability are computed from the same data subsample in each complete HMC iteration. We show that this is possible to do in a principled way in a HMC-within-Gibbs framework where the subsample is updated using a pseudo marginal MH step and the parameters are then updated using an HMC step, based on the current subsample. We show that our subsampling methods are fast and compare favorably to two popular sampling algorithms that utilize gradient estimates from data subsampling. We also explore the current limitations of subsampling HMC algorithms by varying the quality of the variance reducing control variates used in the estimators of the posterior density and its gradients.

연구 동기 및 목표

• 대규모 데이터 환경에서 해밀토니안 몽테카를로(HMC)의 계산적 병목 현상을 해결하기 위해, 샘플링 효율성을 저하시키지 않은 채 효율적인 부분샘플링을 가능하게 하는 것.
• 데이터 부분집합을 사용할 때도 HMC의 핵심 이점인 먼 제안에 대한 높은 수락 확률을 유지하는 것.
• 역동성과 수락 결정이 모두 동일한 부분집합에 기반하는 원칙적인 부분샘플링 전략을 개발하여 에너지 보존을 보장하는 것.
• 후행 밀도 및 기울기 추정에서 분산 감소 제어 변수의 품질 변화에 대한 방법의 강건성 평가.
• 고차원 후행 분포에서 HMC-ECS, SGLD, SG-HMC 간의 샘플링 효율성과 정확도 측면에서의 실증적 비교.

제안 방법

• 가짜 주변 확률 메트로폴리스-해스팅스 단계를 통해 데이터 부분집합을 샘플링하고, 현재 부분집합에 기반한 HMC를 사용해 매개변수를 업데이트하는 HMC-내부 기반의 격자 샘플링 프레임워크를 제안한다.
• 두 가지 변형을 도입한다: 편향이 약간 있는 후행 분포를 목표로 하는 펌프된 HMC-ECS(variant)는 총 변동 거리에서 진정한 후행 분포로 수렴하는 속도가 O(n⁻¹m⁻²)이며, 중요도 샘플링을 사용해 일致한 추정기를 만드는 서명 HMC-ECS(variant)는 일致한 추정기를 생성한다.
• 후행 모드 주변의 타일러 전개를 기반으로 한 두 번째 차수 제어 변수를 사용해 가능도 및 기울기 추정기의 분산을 감소시킨다.
• 해밀토니안 역학을 시뮬레이션하고 메트로폴리스-해스팅스 수락 비율을 계산하는 데 동일한 부분집합을 사용하여 에너지 보존과 높은 수락 확률을 보장한다.
• 제어 변수의 근사 품질에 대한 민감도 평가를 위해 영차수 및 일차수 제어 변수를 적용한다.
• 해밀토니안 에너지를 시간에 따라 약간 보존하는 심플렉틱 적분기를 사용해 수치적 통합을 구현한다.

실험 결과

연구 질문

• RQ1 데이터 부분샘플링을 통해 대규모 데이터셋에 대해 HMC를 효율적으로 확장할 수 있는가? 이때 고수율 수락 확률과 효율적 탐색이 유지되는가?
• RQ2 역동성과 메트로폴리스-해스팅스 수락에 동일한 데이터 부분집합을 사용하면 에너지 보존과 샘플링 효율성이 유지되는가?
• RQ3 HMC-ECS는 후행 밀도 및 기울기 추정에 사용된 제어 변수의 품질에 얼마나 민감한가?
• RQ4 고차원 후행 분포에서 HMC-ECS는 SGLD와 SG-HMC에 비해 샘플링 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 HMC-ECS는 전체 데이터 HMC보다 계산 비용을 크게 낮추면서도 정확한 추론을 달성할 수 있는가?

주요 결과

• HMC-ECS는 29개 및 81개 매개변수를 가진 데이터셋에서도 전체 데이터 HMC와 비슷한 샘플링 효율성과 정확도를 달성하면서도 상당히 빠른 속도를 보인다.
• 펌프된 HMC-ECS 변형은 총 변동 거리에서 진정한 후행 분포로 수렴하는 속도가 O(n⁻¹m⁻²)이므로 점점 더 일致하는 결과를 보장한다.
• 서명 HMC-ECS는 중요도 샘플링을 통해 후행 기대값의 시뮬레이션 일致 추정기를 생성하여 유효한 추론을 가능하게 한다.
• HMC-ECS는 일차수 제어 변수를 사용할 땐 효과적이지만, 영차수 근사에서는 과도한 분산으로 인해 실패한다.
• HMC-ECS는 특히 고차원 환경에서 SGLD와 SG-HMC보다 샘플링 효율성과 정확도 측면에서 뛰어나다.
• HMC-ECS는 중간 정도의 제어 변수 품질 저하에 강건하지만, 영차수 타일러 전개와 같은 낮은 품질의 근사에서는 성능이 크게 떨어진다.