[논문 리뷰] Convergence and efficiency of adaptive importance sampling techniques with partial biasing

Gersende Fort, Benjamin Jourdain외 2명|arXiv (Cornell University)|2016. 10. 28.

Theoretical and Computational Physics참고 문헌 54인용 수 5

한 줄 요약

이 논문은 자기 치유 우산 샘플링 프레임워크 내에서 부분 편향과 향상된 업데이트 전략을 조합하여 다모달 분포에서 수렴성과 효율성을 향상시키는 새로운 적응형 중요도 샘플링 방법을 제안한다. 이 방법은 확률적 근사 기법을 사용하여 자유 에너지 가중치를 적응적으로 학습하며, 진짜 가중치로의 거의 확실한 수렴을 보장하고, 자유 에너지의 부분 편향을 활용하여 추정기의 분산을 줄인다.

ABSTRACT

We consider a generalization of the discrete-time Self Healing Umbrella Sampling method, which is an adaptive importance technique useful to sample multimodal target distributions. The importance function is based on the weights (namely the relative probabilities) of disjoint sets which form a partition of the space. These weights are unknown but are learnt on the fly yielding an adaptive algorithm. In the context of computational statistical physics, the logarithm of these weights is, up to a multiplicative constant, the free energy, and the discrete valued function defining the partition is called the collective variable. The algorithm falls into the general class of Wang-Landau type methods, and is a generalization of the original Self Healing Umbrella Sampling method in two ways: (i) the updating strategy leads to a larger penalization strength of already visited sets in order to escape more quickly from metastable states, and (ii) the target distribution is biased using only a fraction of the free energy, in order to increase the effective sample size and reduce the variance of importance sampling estimators. The algorithm can also be seen as a generalization of well-tempered metadynamics. We prove the convergence of the algorithm and analyze numerically its efficiency on a toy example.

연구 동기 및 목표

• 표준 MCMC 방법이 고차원의 다모달 분포에서 불안정성 상태에 빠지기 때문에, 이러한 분포에서 효율적인 샘플링을 해결하는 것.
• 중요도 함수에 자유 에너지의 부분 편향을 도입하여, 적응형 중요도 샘플링의 수렴성 향상과 분산 감소를 도모하는 것.
• 기존의 자기 치유 우산 샘플링 및 잘 조절된 메타다이나믹스 방법을 수정된 업데이트 전략을 통해 일반화하는 것. 이 전략은 이미 방문한 상태에 대해 보다 높은 처벌을 적용한다.
• 학습률과 편향 함수에 대한 일반적인 조건 하에서 적응형 알고리즘의 이론적 수렴성을 확립하는 것.
• 테스트 예제를 통해 제안된 방법이 효율성이 높고 분산이 감소하는 것으로 수치적으로 입증하는 것.

제안 방법

• 상태 공간을 d개의 상호배타적인 계층으로 나누며, 각 계층은 x를 {1,…,d}로 매핑하는 집합 변수 I(x)와 연결된다.
• 목표 밀도 π를 재가중하여 각 계층에 대해 추정된 가중치 θ(i)를 사용하는 중요도 샘플링 분포 π_θ를 구성하며, 정규화 상수 Z_θ = ∑_i θ_*(i)/θ(i)로 정의된다.
• 학습률 γ_n = γ / S_n^μ 또는 γ / g_α(S_n)를 사용하는 확률적 근사 기법을 통해 θ(n)을 적응적으로 업데이트하며, S_n은 계층에 대한 누적 방문 수를 추적한다.
• 자유 에너지의 일부만을 편향으로 사용하는 부분 편향 전략을 도입하여, 효과적인 표본 크기를 증가시키고 추정기의 분산을 감소시킨다.
• 이미 방문한 계층에 대해 증가하는 처벌 항을 포함한 업데이트 규칙을 통해, 불안정 상태에서의 탈출 속도를 높인다.
• 마틴게일 기법과 리아푸노프 함수 증명을 사용하여 θ(n)이 진짜 가중치 θ_*(i)로 거의 확실하게 수렴함을 입증한다.

실험 결과

연구 질문

• RQ1 제안된 부분 편향을 적용한 적응형 중요도 샘플링 방법이 진짜 자유 에너지 가중치로 거의 확실하게 수렴하는가?
• RQ2 이미 방문한 상태에 대해 처벌을 증가시키는 수정된 업데이트 전략이 다모달 분포에서 수렴 속도와 혼합 특성에 어떤 영향을 미치는가?
• RQ3 전체 편향 대비 부분 편향 전략이 중요도 샘플링 추정기의 분산을 어느 정도 감소시키는가?
• RQ4 천천히 감쇠하는 학습률 조건을 포함한 일반적인 학습률 조건 하에서도 이론적으로 방법을 정당화할 수 있는가?
• RQ5 효율적인 표본 크기와 평형 상태 수렴 측면에서 표준 적응형 샘플링 기법과 비교하여 수치적으로 어떻게 성능이 향상되는가?

주요 결과

• 학습률과 편향 함수에 대한 약한 조건 하에서도 부분 편향이 적용된 상태에서 알고리즘이 진짜 가중치 θ_*(i)로 거의 확실하게 수렴함을 입증하였다.
• 학습률이 γ_n = γ / S_n^μ 형태이며 μ ∈ (0,1)일 경우, 정규화된 누적 방문 수 S_n^μ / n이 진짜 가중치 θ_*(i)/ρ(θ_*(i))의 합의 역수와 관련된 상수로 거의 확실하게 수렴한다.
• 로그형 학습률 γ_n = γ / ln(1 + S_n)^{α/(1−α)}을 사용할 경우, α ∈ (1/2,1)이면 정규화된 로그 누적 방문 수 (ln(1 + S_n))^{1/(1−α)} / n이 자유 에너지 가중치를 포함한 상수로 거의 확실하게 수렴한다.
• 부분 편향 전략은 과도한 편향을 방지함으로써 효과적인 표본 크기를 크게 향상시키고 중요도 샘플링 추정기의 분산을 감소시킨다.
• 테스트 예제에 대한 수치 결과는 제안된 방법이 표준 적응형 방법보다 효율성이 높고 수렴 속도가 더 빠름을 확인한다.
• 이론적 분석을 통해 천천히 감쇠하는 학습률 조건 하에서도 방법이 에르고딕성과 수렴성을 유지함을 확인하였으며, 이는 고차원 환경에서의 강건성을 보장한다.