[논문 리뷰] The reproducing Stein kernel approach for post-hoc corrected sampling

Liam Hodgkinson, Robert Salomone외 1명|arXiv (Cornell University)|2020. 01. 25.

Markov Chains and Monte Carlo Methods참고 문헌 71인용 수 12

한 줄 요약

이 논문은 불조정된 마르코프 체인에서 유도된 표본들에 대한 사후 보정으로 스틴 중요도 샘플링을 위한 이론적 프레임워크를 제안하며, 체인이 편향되어 있거나 불변 측도가 알려져 있지 않은 경우에도 일致성을 증명한다. 재생 스틴 커널을 사용할 경우 커널화된 스틴 산란도 및 관련 측도에서 수렴이 가능하며, 기하적 유통성 조건 하에서 증명 가능한 수렴 속도를 보이며, 고차원 및 부분 샘플링 설정에 적용 가능하다.

ABSTRACT

Stein importance sampling is a widely applicable technique based on kernelized Stein discrepancy, which corrects the output of approximate sampling algorithms by reweighting the empirical distribution of the samples. A general analysis of this technique is conducted for the previously unconsidered setting where samples are obtained via the simulation of a Markov chain, and applies to an arbitrary underlying Polish space. We prove that Stein importance sampling yields consistent estimators for quantities related to a target distribution of interest by using samples obtained from a geometrically ergodic Markov chain with a possibly unknown invariant measure that differs from the desired target. The approach is shown to be valid under conditions that are satisfied for a large number of unadjusted samplers, and is capable of retaining consistency when data subsampling is used. Along the way, a universal theory of reproducing Stein kernels is established, which enables the construction of kernelized Stein discrepancy on general Polish spaces, and provides sufficient conditions for kernels to be convergence-determining on such spaces. These results are of independent interest for the development of future methodology based on kernelized Stein discrepancies.

연구 동기 및 목표

• 이론적 기초를 확립하여, 알려지지 않은 또는 잘못된 불변 측도를 가진 불조정된 마르코프 체인에서 유도된 표본에 대해 스틴 중요도 샘플링을 적용할 수 있도록 한다.
• 기저 마르코프 체인이 편향되어 있거나 기하적 유통성을 가지더라도, 스틴 중요도 샘플링이 목표 기대값에 대한 일관된 추정량을 제공함을 증명한다.
• 일반적인 폴란드 공간에서의 재생 스틴 커널 이론을 개발하여, 지수형 가족을 초월한 커널화된 스틴 산란도 구성이 가능하도록 한다.
• 대규모 베이지안 추론에서 실용적으로 활용 가능한 상황을 고려하여, 데이터 부분 샘플링에 대한 방법의 강건성과 타당성을 입증한다.
• 적절한 조건 하에서 커널화된 스틴 산란도의 수렴이 MMD와 같은 다른 산란도 측도로의 수렴을 유도함을 보여준다.

제안 방법

• 목표 분포 π로부터 유도된 재생 스틴 커널을 사용하여 커널화된 스틴 산란도(KSD)를 정의하며, 이는 경험적 분포와 목표 분포 간의 거리를 측정한다.
• 가중된 경험적 분포와 π 사이의 KSD를 최소화하는 비음수 가중치를 계산하기 위해 제약 조건이 붙은 이차계획문제를 설정하며, 이를 통해 유효한 확률 측도를 보장한다.
• 이 방법은 사후 보정 방식으로 작동하며, 샘플링 알고리즘의 수정이 필요 없고, 기존 표본들에 대한 재가중만 필요하다.
• 이론적 보장은 마르코프 체인의 기하적 유통성 및 드리프트 조건에 대한 가정을 바탕으로 하며, 가중 경험 측도가 π로 수렴함을 보장한다.
• 샘플링과 스틴 커널 계산에서 사용되는 부분 샘플링 기울기 간의 독립성을 확보함으로써, 부분 샘플링 설정으로의 방법 확장을 달성한다.
• 일반적인 폴란드 공간에서 재생 스틴 커널 이론을 개발하여, 커널이 수렴 결정 조건을 만족시키기 위한 충분조건을 제공한다.

실험 결과

연구 질문

• RQ1 불조정된 MCMC 알고리즘에서 유도된 편향된 표본들에 대해, 알려진 불변 측도가 없거나 잘못된 경우 스틴 중요도 샘플링이 일관되게 보정할 수 있는가?
• RQ2 스틸 중요도 샘플링이 어떤 조건에서 커널화된 스틴 산란도 및 MMD와 같은 관련 측도에서 수렴하는가?
• RQ3 약한 정규성 조건 하에서 KSD의 수렴 성질이 MMD와 같은 다른 산란도 측도로 전이될 수 있는가?
• RQ4 샘플링 및 커널 계산 모두에서 데이터 부분 샘플링에 대해 방법이 강건한가? 일관성이 유지되는가?
• RQ5 일반적인 폴란드 공간에서 재생 스틴 커널이 수렴 결정 조건을 만족시키기 위한 커널과 상태 공간에 대한 일반적인 조건은 무엇인가?

주요 결과

• 스틸 중요도 샘플링은 기하적 유통성을 가지며, 알려지지 않은 또는 잘못된 불변 측도를 가진 마르코프 체인에서 유도된 표본들에 대해서도 목표 기대값의 일관된 추정을 달성한다.
• 정리 1의 조건 하에서 커널화된 스틴 산란도에서 수렴 속도가 O(n⁻¹/²)임을 입증하였으며, 이는 i.i.d. 표본의 파arametric 속도와 일치한다.
• KSD에서의 수렴은 MMD로의 수렴을 유도함을 보여주며, 이는 보정이 여러 산란도 측도에서 성능 향상을 이끌어낸다는 것을 시사한다.
• 부분 기울기를 사용하는 TULA 알고리즘에서는, 부분 샘플링된 커널이 샘플링 기울기와 독립일 경우 스틴 중요도 샘플링이 여전히 일관성을 유지하며, 확장 가능한 추론이 가능하다.
• 실제로 IMQ 기본 커널이 가우시안 커널보다 우수한 성능을 보이며, 충분한 표본 수 이후에는 정확한 i.i.d. 표본보다도 MMD 측도에서 더 나은 수렴 속도와 성능을 달성한다.
• 이론적 프레임워크는 일반적인 폴란드 공간에서 재생 스틴 커널이 수렴 결정 조건을 만족함을 입증하여, 지수형 가족을 초월한 광범위한 적용 가능성을 보장한다.