[논문 리뷰] A Generalized Framework for Approximate Control Variates

Alex Gorodetsky, Gianluca Geraci외 2명|arXiv (Cornell University)|2018. 11. 12.

Simulation Techniques and Applications참고 문헌 10인용 수 4

한 줄 요약

이 논문은 비용이 많이 드는 시뮬레이션 모델에서 통계적 추정을 가속화하기 위해 근사 제어 변수를 사용하는 일반화된 몬테카를로 프레임워크를 제안한다. 여러 저신뢰도 모델로부터 제어 변수 평균을 동시에 추정함으로써, 기존 방법의 분산 감소 한계를 초월하여 다중수준 및 다중신뢰도 몬테카를로 기법보다 수개의 주기수 개선을 이룬다. 특히 고신뢰도 평가가 고정되거나 비용이 많이 들 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

We describe and analyze a Monte Carlo (MC) sampling framework for accelerating the estimation of statistics of computationally expensive simulation models using an ensemble of models with lower cost. Our approach uses control variates, with unknown means that must be estimated from data, to reduce the variance in statistical estimators relative to MC. Our framework unifies existing multi-level, multi-index, and multi-fidelity MC algorithms and leads to new and more efficient sampling schemes. Our results indicate that the variance reduction achieved by existing algorithms that explicitly or implicitly estimate control means, such as multilevel MC and multifidelity MC, is limited to that of a single linear control variate with known mean regardless of the number of control variates. We show how to circumvent this limitation and derive a new family of schemes that make full use of all available information sources. In particular, we demonstrate that a significant gap can exist, of orders of magnitude in some cases, between the variance reduction achievable by current recursive schemes and our generalized schemes. We also present initial sample allocation approaches for exploiting this gap, which yield the greatest benefit when augmenting the high-fidelity model evaluations is impractical because, for instance, they arise from a legacy database. Several analytic examples and two PDE problems (viscous Burger's and steady state diffusion) are considered to demonstrate the methodology.

연구 동기 및 목표

• 기존의 다중신뢰도, 다중수준, 다중색인 몬테카를로 방법이 단일 선형 제어 변수(평균이 알려진)의 성능에 의해 제한되는 분산 감소 한계를 해결하기 위해.
• 다양한 저신뢰도 모델을 포함한 모든 가용 정보 자원을 최대한 활용하는 단일 일반화된 제어 변수 접근법으로 기존 몬테카를로 프레임워크를 통합하기 위해.
• 현재의 순차적 추정 기반 샘플링 기법이, 많은 제어 변수가 존재하더라도 본질적으로 분산 감소 성능에 한계를 지닌다는 것을 입증하기 위해.
• 데이터로부터 제어 변수 평균을 동시에 추정함으로써 더 큰 분산 감소를 달성하는 새로운 샘플링 기법을 개발하기 위해.
• 고신뢰도 모델 평가가 고정되거나 이용 불가능한 상황에서 효율성을 극대화하는 실용적인 샘플 할당 전략을 제공하기 위해.

제안 방법

• 이 프레임워크는 평균이 알려지지 않은 다수의 저신뢰도 모델을 데이터로부터 추정하여, 고신뢰도 시뮬레이션 추정기의 분산을 감소시키는 일반화된 선형 제어 변수 추정기 도입.
• 최적의 제어 변수 가중치를 최소 제곱 문제의 해로 정의하여, 경험적 공분산 및 평균 추정치를 사용해 조합된 추정기의 분산을 최소화.
• 기존의 다중수준 및 다중신뢰도 몬테카를로 방법을 일반화하여, 임의의 수의 제어 변수를 允허하고, 그 평균을 알고 있거나 순차적으로 계산하는 대신 데이터로부터 추정함.
• 모델 간 상관관계와 비용 상호작용을 고려하여 추정기 분산을 최소화하는 최적의 가중치 벡터에 대한 닫힌 형태의 수식 유도.
• 고정된 계산 예산 내에서 전체 다양한 신뢰도 수준에 걸친 샘플 수를 최적화함으로써 전체 분산을 최소화하는 효율적인 샘플 할당 전략 제공.
• 검증을 위해 분석적 및 PDE 기반 테스트 케이스(점성 버거 방정식 및 정 steady 상태 확산 방정식)를 사용하여 기존 기법과의 성능 비교 및 방법의 타당성 입증.

실험 결과

연구 질문

• RQ1 여러 저신뢰도 모델이 가용할 경우, 일반화된 제어 변수 프레임워크가 기존의 다중수준 및 다중신뢰도 몬테카를로 방법보다 분산 감소 성능에서 뛰어나게 되는가?
• RQ2 제어 변수 평균을 순차적으로 추정하는 순차적 제어 변수 기반 기법의 분산 감소 성능에 대한 본질적 한계는 무엇인가?
• RQ3 여러 저신뢰도 모델에서 가용한 모든 정보를 어떻게 최대한 활용하여 현재 기법보다 더 큰 분산 감소를 달성할 수 있는가?
• RQ4 고신뢰도 모델 평가가 고정되거나 비용이 많이 들 경우, 어떤 샘플 할당 전략이 효율성을 극대화하는가?
• RQ5 제안된 프레임워크는 이론적 잠재력과 실용적 성능 간의 격차를 어느 정도 메울 수 있는가?

주요 결과

• 기존의 다중수준 및 다중신뢰도 몬테카를로 방법은 사용하는 제어 변수의 수에 관계없이 항상 단일 선형 제어 변수(평균이 알려진)의 성능에 의해 제한되며, 이는 본질적인 한계이다.
• 제안된 일반화된 프레임워크는 데이터로부터 제어 변수 평균을 동시에 추정함으로써 유의미한 분산 감소를 달성하며, 일부 사례에서는 수개의 주기수 수준의 성능 향상을 보였다.
• 이 방법은 순차적 추정 기반 기법의 성능 한계를 초월하여 모든 가용 저신뢰도 모델을 완전히 활용할 수 있다.
• 이 프레임워크에서 유도된 샘플 할당 전략은 고신뢰도 모델 평가를 추가로 수행하는 것이 불가능한 경우에 특히 뛰어난 효율성 향상을 이룬다.
• 분석적 및 PDE 기반 테스트 케이스(점성 버거 방정식 및 정 steady 상태 확산 방정식)는 본 방법의 뛰어난 성능과 다양한 시뮬레이션 문제에 대한 확장성(스케일러빌리티)을 확인한다.
• 이 프레임워크는 기존 몬테카를로 접근법을 통합하고 일반화하며, 향후 분산 감소 기법 개발을 위한 체계적인 기반을 제공한다.