[논문 리뷰] A survey of Monte Carlo methods for noisy and costly densities with application to reinforcement learning and ABC

Fernando Llorente, Luca Martino외 2명|arXiv (Cornell University)|2021. 08. 01.

Probabilistic and Robust Engineering Design참고 문헌 79인용 수 9

한 줄 요약

이 논문은 강화학습 및 가능도 자유 설정에서 노이즈가 많거나 계산 비용이 많이 들거나 추정이 어려운 사후 밀도를 다루기 위해 사전 모델을 사용하는 몬테카를로 방법을 조사한다. 비용이 많이 들거나 노이즈가 많은 밀도 평가를 회귀 기반의 사전 모델로 대체함으로써 샘플링 효율성과 추정 정확도를 향상시키며, 수치 결과에서는 DA-PM-MH 및 MH-S 방법이 표준 PM-MH보다 주변 밀도 추정과 최소 제곱 오차 추정에서 뛰어난 성능을 보였다.

ABSTRACT

This survey gives an overview of Monte Carlo methodologies using surrogate models, for dealing with densities which are intractable, costly, and/or noisy. This type of problem can be found in numerous real-world scenarios, including stochastic optimization and reinforcement learning, where each evaluation of a density function may incur some computationally-expensive or even physical (real-world activity) cost, likely to give different results each time. The surrogate model does not incur this cost, but there are important trade-offs and considerations involved in the choice and design of such methodologies. We classify the different methodologies into three main classes and describe specific instances of algorithms under a unified notation. A modular scheme which encompasses the considered methods is also presented. A range of application scenarios is discussed, with special attention to the likelihood-free setting and reinforcement learning. Several numerical comparisons are also provided.

연구 동기 및 목표

• 노이즈가 많거나 비용이 많이 들거나 추정이 어려운 사후 밀도를 다루기 위해 사전 모델을 사용하는 몬테카를로 방법의 통합 프레임워크를 제공하는 것.
• 사전 모델을 MCMC와 중요도 샘플링에 사용하는 방식에 따라 기존 방법들을 세 가지 주요 유형으로 분류하는 것.
• 특히 강화학습 및 가능도 자유 추론(ABC)에서 실제 응용 시나리오에서 사전 기반 알고리즘의 성능을 평가하는 것.
• 사전 모델이 노이즈가 많은 평가를 부드럽게 하고 적응형 비모수적 제안자로 작용함으로써 샘플링 효율성을 향상시킨다는 것을 보여주는 것.
• 사전 모델 설계의 상충 관계를 부각하고, 특히 초기 반복 단계에서 나쁜 사전 모델 구축이 성능을 떨어뜨릴 수 있음을 보여주는 것.

제안 방법

• 논문은 MCMC 및 IS 알고리즘을 위한 공통 표기법을 사용하여 사전 기반 몬테카를로 방법을 통합하는 모듈러한 프레임워크를 도입한다.
• 방법을 세 가지 유형으로 분류한다: 사전 보조 MCMC(예: MH-S), 사전 보조 중요도 샘플링, 사전 기반 가짜 모수 MCMC(예: DA-PM-MH).
• 사전 모델은 회귀(예: 최근접 이웃 보간)를 통해 추정이 어려운 또는 노이즈가 많은 목표 밀도를 근사함으로써 높은 비용이 드는 평가에 대한 의존도를 줄인다.
• 사전 모델은 새로운 상태를 제안하거나 중요도 가중치를 계산하는 데 사용되며, 가짜 모수 기반 방법에서는 정확성을 유지하기 위해 보정 단계가 포함된다.
• 수치 실험에서는 K=100인 최근접 이웃 사전 모델을 사용하고, 샘플링된 점들과 노이즈가 있는 평가를 반복적으로 업데이트한다.
• 정적 배치 및 순차적 설정 모두를 지원하며, 강화학습 및 ABC 응용 분야로의 확장도 가능하다.

실험 결과

연구 질문

• RQ1 노이즈가 많거나 비용이 많이 드는 사후 밀도를 다루기 위해 사전 모델을 몬테카를로 알고리즘에 체계적으로 통합하는 방법은 무엇인가?
• RQ2 사전 보조 MCMC, 사전 보조 중요도 샘플링, 사전 기반 가짜 모수 MCMC 간의 핵심 차이점과 상충 관계는 무엇인가?
• RQ3 노이즈가 많거나 비용이 많이 드는 추론 환경에서 사전 모델 사용이 샘플링 효율성과 추정 정확도를 어떻게 향상시키는가?
• RQ4 특히 알고리즘의 초기 반복 단계에서 나쁜 사전 모델 구축이 성능에 미치는 영향은 무엇인가?
• RQ5 강화학습 및 가능도 자유 추론에서 사전 기반 방법이 표준 몬테카를로 방법보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 더블폴 밸런싱 문제에서 DA-PM-MH 알고리즘이 표준 PM-MH 및 MH-S 방법보다 약간 더 나은 주변 밀도 근사치를 제공한다.
• DA-PM-MH에서의 MMSE 추정치(θ₁ = -5.7748, θ₆ = 5.2058)는 T=10⁶ PM-MH 기반 참값에 비해 MH-S 및 표준 PM-MH보다 더 가까운 것으로 나타났다.
• 사전 모델은 공간적 정보와 노이즈가 있는 평가 정보를 활용하여 탐색을 향상시키는 적응형 비모수적 제안자로 작용한다.
• 낮은 확률 영역에서 값이 낮은, 잘못 구성된 사전 모델은 특히 초기 반복 단계에서 성능을 떨어뜨릴 수 있다.
• 가짜 모수 기반 방법의 보정 단계는 강건성을 향상시켜 나쁜 사전 모델 접근보다 더 신뢰할 수 있는 성능을 보인다.
• 수치 결과는 정확한 평가가 불가능한 경우에 특히 사전 기반 방법이 비용이 많이 들거나 노이즈가 많은 추론 환경에서 효율성을 크게 향상시킨다는 것을 확인한다.