[논문 리뷰] Convergence rates for optimised adaptive importance samplers

Ömer Deniz Akyıldız, Joaquı́n Mı́guez|arXiv (Cornell University)|2019. 03. 28.

Mathematical Approximation and Integration인용 수 3

한 줄 요약

이 논문은 χ²-발산을 최소화하는 볼록 최적화를 통해 목표 분포와 지수족 제안 분포 사이의 χ²-발산을 반복적으로 최소화하는 최적화된 적응형 중요도 샘플링기(OAIS)라는 적응형 몬테카를로 방법의 클래스를 소개한다. 저자들은 반복 수 $t$와 샘플 수 $N$에 명시적으로 의존하는 비점근적 평균제곱오차(MSE) 경계를 유도하여, 목표 분포가 지수족에 속할 경우 OAIS가 최적의 $O(1/\sqrt{N})$ 수렴 속도를 달성함을 증명하며, 이 속도는 반복 수 $t$에 대한 정량화된 수렴 속도를 포함한다.

ABSTRACT

Adaptive importance samplers are adaptive Monte Carlo algorithms to estimate expectations with respect to some target distribution which extit{adapt} themselves to obtain better estimators over a sequence of iterations. Although it is straightforward to show that they have the same $\mathcal{O}(1/\sqrt{N})$ convergence rate as standard importance samplers, where $N$ is the number of Monte Carlo samples, the behaviour of adaptive importance samplers over the number of iterations has been left relatively unexplored. In this work, we investigate an adaptation strategy based on convex optimisation which leads to a class of adaptive importance samplers termed extit{optimised adaptive importance samplers} (OAIS). These samplers rely on the iterative minimisation of the $\chi^2$-divergence between an exponential-family proposal and the target. The analysed algorithms are closely related to the class of adaptive importance samplers which minimise the variance of the weight function. We first prove non-asymptotic error bounds for the mean squared errors (MSEs) of these algorithms, which explicitly depend on the number of iterations and the number of samples together. The non-asymptotic bounds derived in this paper imply that when the target belongs to the exponential family, the $L_2$ errors of the optimised samplers converge to the optimal rate of $\mathcal{O}(1/\sqrt{N})$ and the rate of convergence in the number of iterations are explicitly provided. When the target does not belong to the exponential family, the rate of convergence is the same but the asymptotic $L_2$ error increases by a factor $\sqrt{ ho^\star} > 1$, where $ ho^\star - 1$ is the minimum $\chi^2$-divergence between the target and an exponential-family proposal.

연구 동기 및 목표

• 적응형 중요도 샘플러의 이론적 분석 격차를 메우기 위해 반복 수 $t$와 몬테카를로 샘플 수 $N$에 모두 명시적으로 의존하는 오차 경계를 유도하는 것.
• 제안 분포와 목표 분포 사이의 χ²-발산을 최소화하는 새로운 적응형 중요도 샘플러 클래스—최적화된 적응형 중요도 샘플링기(OAIS)—를 개발하는 것.
• 계산적 노력(반복 수)과 통계적 정확도(샘플 수) 간의 상호 작용을 드러내는 OAIS에 대한 비점근적 평균제곱오차(MSE) 경계를 수립하는 것.
• 목표 분포가 지수족에 속하지 않을 경우에도 반복 수 $t$와 샘플 수 $N$에 따라 OAIS의 수렴 속도를 특성화하는 것.
• 볼록 최적화를 통한 변동성 최소화 적응 전략의 효율성에 대한 이론적 근거를 제공하는 것.

제안 방법

• 목표 분포와 지수족 제안 분포 사이의 χ²-발산을 최소화하는 방식으로 제안 분포의 적응을 볼록 최적화 문제로 공식화한다.
• 중요도 샘플링 추정기의 분산이 χ²-발산에 비례한다는 사실을 활용하여 볼록 최적화 기법을 적용할 수 있도록 한다.
• 무작위로 추정된 χ²-발산의 기울기의 비편향 추정치를 사용하여 반복적으로 제안 분포의 매개수 $\theta_t$ 를 갱신하는 반복 알고리즘을 설계한다.
• 수렴이 최적의 매개수 $\theta^*$로 보장되도록 감소하는 단계 크기 $\gamma_k = \alpha / \sqrt{k}$ 를 사용하는 투영된 무작위 경사하강법을 적용한다.
• 수렴 성질을 향상시키기 위해 최종 제안 분포로 과거 매개수의 평균 $\bar{\theta}_t = \frac{1}{t} \sum_{k=0}^{t-1} \theta_k$ 를 사용한다.
• 볼록 최적화 이론과 농도 부등식의 결과를 활용하여 추정기의 기대 MSE에 대한 비점근적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 반복 수 $t$와 샘플 수 $N$을 모두 고려할 때, 적응형 중요도 샘플러의 비점근적 평균제곱오차(MSE)의 수렴 속도는 어떻게 되는가?
• RQ2 목표 분포가 지수족에 속할 경우, OAIS의 성능은 표준 중요도 샘플링과 어떻게 비교되는가?
• RQ3 목표 분포가 지수족에 속하지 않을 경우, 수렴 속도와 점근적 오차는 어떻게 되는가?
• RQ4 χ²-발산은 적응형 중요도 샘플링의 원칙적인 목적 함수로 사용될 수 있으며, 이를 최소화하면 최적의 수렴 속도를 달성하는가?
• RQ5 매개수 추정치 $\theta_t$ 가 최적의 $\theta^*$ 로 수렴하는 속도는 얼마이며, 이는 추정기의 총 MSE에 어떻게 영향을 미치는가?

주요 결과

• OAIS 추정기의 비점근적 평균제곱오차(MSE)는 $ \frac{c_\phi \rho(\theta_t)}{N} $ 로 경계되며, 여기서 $ \rho(\theta_t) $ 는 제안 분포와 목표 분포 사이의 χ²-발산이다.
• 목표 분포가 지수족에 속할 경우, OAIS의 L2 오차는 최적의 속도 $ O(1/\sqrt{N}) $ 로 수렴하며, 이 수렴 속도는 반복 수 $t$ 에 대해 명시적으로 $ O(1/\sqrt{t}) $ 로 정량화된다.
• 목표 분포가 지수족에 속하지 않을 경우, 점근적 L2 오차는 $ \sqrt{\rho^*} > 1 $ 의 요인만큼 증가하며, 여기서 $ \rho^* - 1 $ 은 목표 분포와 어떤 지수족 제안 분포 사이의 최소 χ²-발산이다.
• 평균 매개수 $ \bar{\theta}_t $ 의 기대 오차는 $ \mathbb{E}[\rho(\bar{\theta}_t) - \rho^*] \leq \frac{C}{\sqrt{t}} $ 를 만족하며, 여기서 $ C $ 는 최적값과의 초기 거리와 기울기 추정치의 노이즈에 의존한다.
• 매개수 공간의 컴act성과 가중치 함수의 이阶 모멘트의 리프시츠 연속성과 같은 온건한 정규성 조건 하에서, 매개수 추정치 $ \theta_t $ 가 최적의 $ \theta^* $ 로 수렴하는 것이 보장된다.
• 이론적 프레임워크는 중요도 샘플링에서 변동성 최소화 적응 전략의 사용을 정당화하며, 목표 분포가 지수족에 속할 경우 이러한 방법이 최고의 가능 수렴 속도 $ O(1/\sqrt{N}) $ 를 달성함을 보여준다.