[논문 리뷰] How well does your sampler really work?

Ryan Turner, Brady Neal|arXiv (Cornell University)|2017. 12. 16.

Machine Learning and Data Classification참고 문헌 19인용 수 4

한 줄 요약

이 논문은 실제 데이터셋과 모델에서 유도된 실제 사후분포를 사용하여 MCMC 샘플러를 평가하기 위한 데이터 기반 벤치마크를 소개한다. 신경망과 같은 유연한 밀도 모델을 훈련시켜 현실적인 벤치마크 분포를 생성한다. 주요 기여는 샘플러의 진정한 유효 표본 크기(ESS)와 효율성을 시스템적이고 확장 가능한 방식으로 평가할 수 있는 프레임워크를 제공하는 것으로, NUTS와 HMC가 가장 높은 성능을 보이며, ESS와 같은 진단 지표는 종종樂관적으로 편향되어 있음을 드러낸다.

ABSTRACT

We present a new data-driven benchmark system to evaluate the performance of new MCMC samplers. Taking inspiration from the COCO benchmark in optimization, we view this task as having critical importance to machine learning and statistics given the rate at which new samplers are proposed. The common hand-crafted examples to test new samplers are unsatisfactory; we take a meta-learning-like approach to generate benchmark examples from a large corpus of data sets and models. Surrogates of posteriors found in real problems are created using highly flexible density models including modern neural network based approaches. We provide new insights into the real effective sample size of various samplers per unit time and the estimation efficiency of the samplers per sample. Additionally, we provide a meta-analysis to assess the predictive utility of various MCMC diagnostics and perform a nonparametric regression to combine them.

연구 동기 및 목표

• 실제 베이지안 추론 문제에서 MCMC 샘플러를 평가하기 위한 신뢰할 수 있고 현실적인 벤치마크의 부족을 해결하기 위해.
• 수작업으로 만든 단순 문제를 실제 데이터셋과 모델에서 유도된 대표성 있는 사후분포로 대체하기 위해.
• 시간 단위당 실제 유효 표본 크기(RESS)와 추정 효율성을 정량화하기 위해.
• 일반적인 MCMC 진단 지표의 예측 능력을 평가하고, 비모수적 회귀를 통해 여러 지표를 조합하여 성능 예측을 향상시키기 위해.
• 최적화 분야의 COCO와 유사하지만 샘플링 방법에 특화된 확장 가능하고 진화하는 벤치마크 시스템을 구축하기 위해.

제안 방법

• 실제 데이터셋(예: MNIST)과 실제 모델(예: 로지스틱 회귀)을 조합하여 복잡한 사후분포를 생성하는 '데이터 세트의 세트'와 '모델 동물원'을 구축한다.
• 각 실제 사후분포에서 NUTS를 사용해 장기 마르코프 체인을 생성하여, 대체 밀도 모델의 학습 데이터로 활용한다.
• NUTS 체인에 대해 민감한 비지도 밀도 모델(예: 혼합 정규분포, 정규화 플로우)을 피팅하여 벤치마크 예시 분포를 생성한다.
• 학습된 대체 모델에서 정확한 i.i.d. 샘플링을 수행하여 기저 진리 유효 표본 크기(ESS)를 계산하고 샘플러 성능을 평가한다.
• 가우스 프로세스 회귀를 통한 메타 분석을 적용하여 MCMC 진단 지표(예: ESS, Gelman-Rubin, Geweke)를 조합하고 ESS 이탈 예측을 수행한다.
• 15분 분량의 체인을 사용해 100개 이상의 실제 사례에서 샘플러를 평가하며, NESS(정규화된 ESS)와 RESS(상대적 ESS)와 같은 지표를 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 MCMC 샘플러는 수작업으로 만든 벤치마크와 비교해 실제 데이터 기반 사후분포에서 얼마나 잘 작동하는가?
• RQ2 표준 MCMC 진단 지표(예: ESS, Gelman-Rubin)는 실제 샘플링 효율성과 얼마나 잘 校정되어 있는가?
• RQ3 여러 진단 지표를 조합하는 메타학습 접근법이 ESS 이탈 예측을 향상시킬 수 있는가?
• RQ4 샘플러 성능은 다양한 모델 및 데이터 복잡도 수준에서 어떻게 변화하는가?
• RQ5 현대 샘플러인 NUTS, HMC, emcee의 실제 문제에서의 진정한 유효 표본 크기와 추정 효율성은 무엇인가?

주요 결과

• NUTS와 HMC는 높은 차원 설정에서 NESS 값이 0.115를 초과하여 가장 높은 정규화된 유효 표본 크기(NESS)와 상대적 ESS(RESS)를 기록한다.
• emcee는 매우 이중모드적인 성능을 보이며, 일부 경우에 높은 NESS를 기록하지만 성공 확률은 38%로 가장 낮고, 62%의 경우 NUTS에 뒤지게 된다.
• ESS 진단 지표는 과도하게 낙관적으로 편향되어 있다: 평균 추정에서는 실제 ESS가 추정된 ESS보다 낮은 경우가 55% 발생하며, 분산 추정에서는 68%, KS 통계량에서는 83% 발생한다.
• ESS, Gelman-Rubin, 차원 수 특징을 사용한 비모수적 회귀(Gaussian process)는 기준 모델 대비 예측 오차를 MSE 기준 2.7% 감소시키고, 로그 손실 기준 0.0096 nats 감소시켜 ESS 이탈 예측 정확도를 향상시킨다.
• 메타 분석에서 ESS를 제거하면 예측 성능이 가장 크게 저하되며, 이는 ESS가 ESS 이탈 예측에 가장 유용한 단일 진단 지표임을 시사한다.
• 벤치마크는 무작위 워크 메트로폴리스와 emcee가 종종 RESS > 1을 달성하지 못함을 드러내며, 이는 각 체인당 독립 표본 수가 하나 미만과 기능상 동일함을 의미한다.