[논문 리뷰] Selection of proposal distributions for generalized importance sampling estimators

Vivekananda Roy, Evangelos Evangelou|arXiv (Cornell University)|2018. 05. 02.

Statistical Methods and Bayesian Inference참고 문헌 40인용 수 3

한 줄 요약

이 논문은 다중 타겟 추론에서 안정성과 효율성을 향상시키기 위해 일반화된 중요도 샘플링 추정기에서 제안 분포를 선택하는 데 세 가지 방법을 제안한다. 대칭 Kullback-Leibler 발산을 사용한 기하학적 커버리지 기준, 최소최대 분산 접근법, 최대 엔트로피 방법을 도입하며, 각각 분산 감소와 커버리지 최적화를 통해 추정기 성능을 향상시킨다. 주요 추정기의 점근적 분산에 대해 일관된 스펙트럼 분산 추정기를 제공한다.

ABSTRACT

The standard importance sampling (IS) estimator, generally does not work well in examples involving simultaneous inference on several targets as the importance weights can take arbitrarily large values making the estimator highly unstable. In such situations, alternative generalized IS estimators involving samples from multiple proposal distributions are preferred. Just like the standard IS, the success of these multiple IS estimators crucially depends on the choice of the proposal distributions. The selection of these proposal distributions is the focus of this article. We propose three methods based on (i) a geometric space filling coverage criterion, (ii) a minimax variance approach, and (iii) a maximum entropy approach. The first two methods are applicable to any multi-proposal IS estimator, whereas the third approach is described in the context of Doss's (2010) two-stage IS estimator. For the first method we propose a suitable measure of coverage based on the symmetric Kullback-Leibler divergence, while the second and third approaches use estimates of asymptotic variances of Doss's (2010) IS estimator and Geyer's (1994) reverse logistic estimator, respectively. Thus, we provide consistent spectral variance estimators for these asymptotic variances. The proposed methods for selecting proposal densities are illustrated using various detailed examples.

연구 동기 및 목표

• 고분산 가중치로 인해 표준 중요도 샘플링이 다중 타겟 추론에서 불안정해지는 문제를 해결하기 위해.
• 추정기 성능을 향상시키기 위한 다수의 제안 분포를 체계적으로 선택하는 방법을 개발하기 위해.
• 제안 분포 선택 최적화를 통해 일반화된 중요도 샘플링의 강인성과 효율성을 확보하기 위해.
• Doss의 및 Geyer의 중요도 샘플링 추정기의 점근적 분산에 대해 일관된 추정기를 제공하기 위해.
• 세부적인 수치 예제를 통해 제안된 선택 방법의 실용적 효과성을 입증하기 위해.

제안 방법

• 대칭 Kullback-Leibler 발산을 기반으로 한 기하학적 공간 메우기 커버리지 기준을 제안하여 제안 분포의 산포도를 측정한다.
• Doss(2010)의 일반화된 IS 추정기의 점근적 분산을 최소화하도록 하는 최소최대 분산 접근법을 도입한다.
• Doss의 이단계 중요도 샘플링 추정기 전용으로 최적화된 최대 엔트로피 접근법을 개발하여 타겟 공간의 다양성과 커버리지 증진을 도모한다.
• Doss의 및 Geyer(1994)의 역로지스틱 IS 추정기의 점근적 분산에 대해 일관된 스펙트럼 분산 추정기를 유도한다.
• 이 분산 추정치를 활용해 제안 분포 선택을 이끌어내어 추정기의 안정성과 효율성을 향상시킨다.
• 수치 예제를 활용하여 다양한 시나리오에서 제안된 선택 기준의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 다중 제안 분포를 사용하는 일반화된 중요도 샘플링에서 점근적 분산을 최소화하기 위해 제안 분포를 어떻게 선택할 수 있는가?
• RQ2 타겟 공간 전역에서 견고한 샘플링을 보장하기 위한 다수의 제안 분포에 대한 효과적인 커버리지 측정 기준은 무엇인가?
• RQ3 최대 엔트로피 기준은 이단계 일반화된 IS 추정기의 성능 향상에 기여할 수 있는가?
• RQ4 Doss의 및 Geyer의 IS 추정기의 점근적 분산에 대해 일관된 스펙트럼 추정기를 어떻게 구성할 수 있는가?
• RQ5 제안된 선택 방법은 다중 타겟 추론에서 추정기의 안정성과 정확도 향상에 어느 정도 기여하는가?

주요 결과

• 대칭 Kullback-Leibler 발산은 다수의 제안 분포에 대한 커버리지 측정에 신뢰할 수 있는 기준을 제공하여 효과적인 공간 메우기 선택이 가능하다.
• 최소최대 분산 접근법은 제안 분포 구성 최적화를 통해 Doss의 일반화된 IS 추정기의 점근적 분산을 크게 감소시킨다.
• 최대 엔트로피 방법은 표본의 집중도를 줄이고 다양성을 증진시켜 Doss의 이단계 IS 프레임워크 내 추정기 성능을 향상시킨다.
• Doss의 및 Geyer의 IS 추정기의 점근적 분산에 대해 일관된 스펙트럼 추정기를 성공적으로 유도하여 신뢰할 수 있는 분산 기반 최적화가 가능해졌다.
• 수치 예제를 통해 제안된 방법이 난이도 높은 또는 균일한 제안 분포 선택 대비 더 안정적이고 효율적인 추정기를 도출함을 입증하였다.
• 커버리지, 분산 최소화, 엔트로피 최대화의 조합은 복잡한 다중 타겟 추론 문제에서 강인하고 확장 가능한 제안 분포 선택을 가능하게 한다.