[논문 리뷰] Consistent Adaptive Multiple Importance Sampling and Controlled Diffusions

Sep Thijssen, Hilbert J. Kappen|arXiv (Cornell University)|2018. 03. 21.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 3

한 줄 요약

이 논문은 확산 과정을 위한 샘플링에 대해 새로운 폐기-재가중 전략을 사용한 계산 비용이 낮고 일致하는 적응형 다중 중요도 샘플링(AMIS) 방법을 제안한다. 재가중 복잡도를 O(K²M)에서 O(KM)로 감소시킴으로써 제약 조건 없이 일致성을 확보하며, 수치 실험에서 균형 히وري스틱과 유사한 정확도를 유지하면서도 계산 효율성이 뛰어나다.

ABSTRACT

Recent progress has been made with Adaptive Multiple Importance Sampling (AMIS) methods that show improvement in effective sample size. However, consistency for the AMIS estimator has only been established in very restricted cases. Furthermore, the high computational complexity of the re-weighting in AMIS (called balance heuristic) makes it expensive for applications involving diffusion processes. In this work we consider sequential and adaptive importance sampling that is particularly suitable for diffusion processes. We propose a new discarding-re-weighting scheme that is of lower computational complexity, and we prove that the resulting AMIS is consistent. Using numerical experiments, we demonstrate that discarding-re-weighting performs very similar to the balance heuristic, but at a fraction of the computational cost.

연구 동기 및 목표

• 적응형 다중 중요도 샘플링(AMIS)에서 재가중의 높은 계산 비용, 특히 확산 과정에 대해 해결하고자 한다.
• 이전 연구에서 제한된 경우에 국한되었던 조건에서 일반 조건 하에서도 AMIS의 일치성을 확립하고자 한다.
• 추정기 정확도를 유지하면서도 계산 복잡도를 크게 감소시키는 재가중 전략을 개발하고자 한다.
• 향상된 AMIS를 통해 경로 적분 제어 및 확률적 제어 문제에서 효율적인 순차적 샘플링을 가능하게 하고자 한다.

제안 방법

• 균형 히وري스틱의 O(K²M) 대비 O(KM) 복잡도로 중요도 가중치를 계산하는 새로운 폐기-재가중 전략을 제안한다.
• 이전 반복의 피드백을 이용해 제안 분포를 순차적으로 적응적으로 업데이트하는 순차적 AMIS 프레임워크를 도입한다.
• 경로 적분 제어를 활용해 제어된 SDEs를 통해 제안 측도를 구성하며, 제어는 u(t,x) = A g(t,x) 형태로 매개변수화한다.
• Euler-Maruyama 또는 고차수 방법을 사용해 제어된 SDEs로부터 샘플 경로를 시뮬레이션한다.
• 중요도 샘플링에서 유도된 가중치를 사용해 경로 기여의 가중합을 통해 최적 제어 매개변수 A_k를 점진적으로 추정한다.
• 반복 간의 샘플로부터 AMIS 추정기를 적용해 A_k를 계산함으로써, 약한 정규성 조건 하에서도 일치성을 보장한다.

실험 결과

연구 질문

• RQ1 AMIS에 대해 추정기 일치성을 유지하면서도 계산 복잡도를 감소시키는 재가중 전략을 설계할 수 있는가?
• RQ2 폐기-재가중 전략이 확산 과정에서 분산과 정확도 측면에서 균형 히وري스틱과 유사하게 성능을 발휘하는가?
• RQ3 제안된 방법이 확산을 포함한 확률적 제어 문제의 순차적 샘플링에 효과적으로 적용될 수 있는가?
• RQ4 새로운 전략의 계산 복잡도는 무엇이며, 제안 수와 샘플 수에 따라 어떻게 스케일링되는가?

주요 결과

• 폐기-재가중 전략은 O(KM)의 계산 복잡도를 달성하여 균형 히وري스틱의 O(K²M)에 비해 상당한 향상이 있다.
• 제안된 폐기-AMIS 추정기는 제약 조건 없는 일반 조건 하에서도 일치성이 입증되었으며, 제안 분포에 대한 제한적인 가정이 필요하지 않다.
• 수치 실험 결과, 폐기-재가중 전략은 추정기 정확도와 유효 샘플 수 측면에서 균형 히وري스틱과 거의 동일한 성능을 보였다.
• 이 방법은 경로 적분 제어에서 효율적인 순차적 샘플링을 가능하게 하며, 반복 간에 피드백 제어 A_k를 점진적으로 계산할 수 있다.
• 폐기-재가중 전략을 사용할 경우 알고리즘의 복잡도는 O(MK)로, 균형 히وري스틱의 O(MK²) 대비 훨씬 낮아 대규모 문제에 실용적으로 적용 가능하다.