[논문 리뷰] Regularised Zero-Variance Control Variates for High-Dimensional Variance Reduction

Leah F. South, Chris J. Oates외 2명|arXiv (Cornell University)|2018. 11. 13.

Statistical Methods and Inference참고 문헌 60인용 수 19

한 줄 요약

이 논문은 페널티 회귀와 부분집합 기반 도함수 선택을 활용하여 고차원에서 몬테카를로 추정기의 분산 감소를 위한 정규화된 제로분산 제어 변수(ZV-CV)를 제안한다. 정규화 기법이 고차원에서 고전적 최소제곱법보다 성능을 크게 향상시키며 계산 비용도 줄임을 입증하였고, R 패키지 ZVCV를 통해 이용 가능하다.

ABSTRACT

Zero-variance control variates (ZV-CV) are a post-processing method to reduce the variance of Monte Carlo estimators of expectations using the derivatives of the log target. Once the derivatives are available, the only additional computational effort lies in solving a linear regression problem. Significant variance reductions have been achieved with this method in low dimensional examples, but the number of covariates in the regression rapidly increases with the dimension of the target. In this paper, we present compelling empirical evidence that the use of penalised regression techniques in the selection of high-dimensional control variates provides performance gains over the classical least squares method. Another type of regularisation based on using subsets of derivatives, or a priori regularisation as we refer to it in this paper, is also proposed to reduce computational and storage requirements. Several examples showing the utility and limitations of regularised ZV-CV for Bayesian inference are given. The methods proposed in this paper are accessible through the R package ZVCV.

연구 동기 및 목표

• 고차원에서 공분산의 급격한 증가로 인해 고전적 최소제곱법이 계산 비용이 크게 증가하고 성능이 열 劣하는 제로분산 제어 변수(ZV-CV) 문제를 해결하기 위해.
• 도함수의 부분집합 또는 사전 정규화를 통해 고차원 ZV-CV의 계산 및 저장 요구량을 줄이기 위해.
• ZV-CV의 회귀 단계에 정규화 기법을 적용하여 베이지안 추론에서의 분산 감소 성능을 향상시키기 위해.
• 연구자들이 계산 통계 및 머신러닝 분야에서 활용할 수 있도록 R 패키지 ZVCV를 통해 실용적이고 접근 가능한 구현을 제공하기 위해.

제안 방법

• 고차원 ZV-CV에서 관련 도함수를 선택하기 위해 리지 또는 라소 회귀와 같은 페널티 회귀 기법을 사용하여 과적합을 줄이고 안정성을 향상시킨다.
• 사전 정규화를 도입하여 이용 가능한 도함수 중 일부만 선택함으로써 공분산의 수를 줄이고 계산 복잡도를 낮춘다.
• 표준 ZV-CV 프레임워크를 적용하여 로그 타겟 밀도의 도함수를 사용해 제어 변수를 구성하지만, 고차원 설정에서의 처리를 위해 정규화를 통합한다.
• 도함수 정보로 구성된 설계 행렬에 정규화를 적용하여 제어 변수 계수를 추정하기 위한 선형 회귀 문제를 해결한다.
• 이중 단계 접근법을 사용한다: 첫 번째로 로그 타겟의 도함수를 계산하고, 두 번째로 정규화된 회귀를 적용하여 효과적인 제어 변수를 구성한다.
• R 패키지 ZVCV를 통해 메서드를 접근 가능하게 하여 재현성과 기존의 베이지안 추론 파이프라인에의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 페널티 회귀 기법이 고차원 설정에서 고전적 최소제곱법에 비해 제로분산 제어 변수의 성능을 향상시키는가?
• RQ2 도함수의 부분집합을 사용함(사전 정규화)하는 것이 ZV-CV의 분산 감소 및 계산 효율성에 어떤 영향을 미치는가?
• RQ3 고차원 ZV-CV에 정규화를 적용할 때 분산 감소와 계산 비용 사이의 상충 관계는 어떠한가?
• RQ4 어떤 상황에서 정규화된 ZV-CV가 표준 ZV-CV보다 베이지안 추론 응용에서 더 우수한 성능을 보이는가?

주요 결과

• 페널티 회귀 기법은 공분산의 수가 많을수록 고전적 최소제곱법에 비해 고차원 ZV-CV에서 분산 감소 성능을 크게 향상시킨다.
• 사전 정규화를 통해 도함수의 부분집합만 선택하면 분산 감소 성능에 큰 손실 없이 계산 및 저장 요구량을 줄일 수 있다.
• 다양한 고차원 예제에서 제안된 방법이 상당한 분산 감소를 달성하여 베이지안 추론에서 실용적인 유용성을 입증한다.
• R 패키지 ZVCV는 사용자에게 친화적인 구현을 제공하여 연구자들이 자신의 몬테카를로 추정 문제에 정규화된 ZV-CV를 적용할 수 있게 한다.
• 실험 결과는 정규화가 고차원 회귀에서 과적합을 완화하여 더 견고하고 안정적인 제어 변수 추정치를 도출함을 보여준다.
• 샘플 수보다 도함수의 수가 많을 경우에도 이 메서드는 강력한 성능을 유지한다. 이는 고차원 설정에서 흔한 과제이다.