[논문 리뷰] Regularised Zero-Variance Control Variates

Leah F. South, Antonietta Mira외 1명|arXiv (Cornell University)|2018. 11. 13.

Statistical Methods and Inference인용 수 2

한 줄 요약

이 논문은 고차원 베이지안 추론에서 몬테 카를로 추정기의 분산을 줄이기 위해 정규화된 영분산 제어 변수(Zero-Variance Control Variates, ZV-CV)를 도입한다. 최소 제곱법 ZV-CV의 곡률 문제를 완화하기 위해, 예를 들어 라소(Lasso)와 같은 정규화 회귀 또는 로그-타겟 도함수의 사전에 기반한 부분집합 선택 기법을 적용함으로써, 고차원에서의 곡률 문제를 완화하고 계산 효율성과 분산 감소를 크게 향상시키면서도 정확도를 유지한다. 이와 같은 방법들은 R 패키지 ZVCV를 통해 이용 가능하다.

ABSTRACT

Zero-variance control variates (ZV-CV) are a post-processing method to reduce the variance of Monte Carlo estimators of expectations using the derivatives of the log target. Once the derivatives are available, the only additional computational effort lies in solving a linear regression problem. Significant variance reductions have been achieved with this method in low dimensional examples, but the number of covariates in the regression rapidly increases with the dimension of the target. In this paper, we present compelling empirical evidence that the use of penalised regression techniques in the selection of high-dimensional control variates provides performance gains over the classical least squares method. Another type of regularisation based on using subsets of derivatives, or a priori regularisation as we refer to it in this paper, is also proposed to reduce computational and storage requirements. Several examples showing the utility and limitations of regularised ZV-CV for Bayesian inference are given. The methods proposed in this paper are accessible through the R package ZVCV.

연구 동기 및 목표

• 기존의 영분산 제어 변수가 고차원에서 과도한 공변수와 계산 비용으로 인해 발생하는 고차원 확장성 문제를 해결하기 위해.
• 로그-타겟 도함수에 라소와 같은 정규화된 회귀 기법을 활용해 몬테 카를로 추정기의 분산 감소 성능을 향상시키기 위해.
• 사전 정규화를 통해, 즉 이용 가능한 도함수 항목들 중 일부만 선택하여 계산 및 저장 요구량을 줄이기 위해.
• 베이지안 추론 워크플로우에서 실용적이고 접근 가능한 구현을 제공하기 위해, R 패키지 ZVCV를 통해 제공한다.

제안 방법

• ZV-CV의 선형 회귀 문제에 정규화된 회귀(예: 라소, 릿지)를 적용하여 고차원 환경에서 관련 있는 도함수를 선별하고 과적합을 줄이기 위해.
• 사전 정규화를 통해 히وري스틱 또는 구조적 기준에 기반해 로그-타겟 도함수의 일부만 선택하여 공변수의 수를 제한하기 위해.
• 제어 변수를 로그-타겟 도함수의 선형 조합으로 설정하고, 계수를 정규화된 최소 제곱법을 통해 학습하기 위해.
• 정규화된 제어 변수를 표준 몬테 카를로 추정기에 통합하여, 기존 샘플링 과정을 변경하지 않은 채 분산을 줄이기 위해.
• 저차원 및 고차원 베이지안 모델에서의 실증적 비교를 통해 성능 평가를 수행하기 위해, 후행 평균 및 증거 추정을 포함한다.

실험 결과

연구 질문

• RQ1 정규화된 회귀 기법(예: 라소)은 고차원 환경에서 영분산 제어 변수의 분산 감소 성능을 향상시킬 수 있는가?
• RQ2 도함수 항목의 사전 선택은 고차원 모델에서 ZV-CV의 계산 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 정규화된 최소 제곱법 ZV-CV와 기존 최소 제곱법 ZV-CV를 비교할 때, 분산 감소와 계산 비용 간의 상충 관계는 어떠한가?
• RQ4 어떤 종류의 베이지안 추론 문제에서 정규화된 ZV-CV가 가장 큰 성과를 내는가?

주요 결과

• 라소와 같은 정규화된 회귀 기법은, 공변수의 수가 표본 크기 이상일 경우 기존 최소 제곱법 대비 고차원 ZV-CV에서 분산 감소 성능을 크게 향상시킨다.
• 사전 정규화를 통해 도함수의 일부만 선택함으로써 계산 및 저장 비용을 줄일 수 있으며, 동시에 강력한 분산 감소 성능을 유지할 수 있다.
• 저차원 및 고차원 예제 모두에서 제안된 방법이 상당한 분산 감소를 달성하였으며, 특히 도전적인 후행 평균 및 주변 가능도 추정 과제에서도 성능을 보였다.
• 실증 결과는 고차원 환경에서 정규화된 ZV-CV가 효과적 표본 크기와 추정 정확도 측면에서 표준 ZV-CV를 능가함을 보여준다.