[논문 리뷰] Nearly Consistent Finite Particle Estimates in Streaming Importance Sampling

Alec Koppel, Amrit Singh Bedi외 2명|arXiv (Cornell University)|2019. 09. 23.

Sparse and Compressive Sensing Techniques참고 문헌 58인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내에서 최대 평균 차이(MMD)를 사용하여 사후 밀도 추정치를 저차원 부분공간에 투영함으로써 거의 일致한 유한 입자 추정치를 유지하는 스트리밍 중요도 샘플링 방법을 제안한다. 이 방법은 압축 파rameter를 통해 편향을 조절할 수 있게 하여 메모리 사용을 크게 줄이면서도 전체 샘플 방법과 비교해 유사한 추정 정확도를 유지한다.

ABSTRACT

In Bayesian inference, we seek to compute information about random variables such as moments or quantiles on the basis of {available data} and prior information. When the distribution of random variables is {intractable}, Monte Carlo (MC) sampling is usually required. {Importance sampling is a standard MC tool that approximates this unavailable distribution with a set of weighted samples.} This procedure is asymptotically consistent as the number of MC samples (particles) go to infinity. However, retaining infinitely many particles is intractable. Thus, we propose a way to only keep a \\emph{finite representative subset} of particles and their augmented importance weights that is \\emph{nearly consistent}. To do so in {an online manner}, we (1) embed the posterior density estimate in a reproducing kernel Hilbert space (RKHS) through its kernel mean embedding; and (2) sequentially project this RKHS element onto a lower-dimensional subspace in RKHS using the maximum mean discrepancy, an integral probability metric. Theoretically, we establish that this scheme results in a bias determined by a compression parameter, which yields a tunable tradeoff between consistency and memory. In experiments, we observe the compressed estimates achieve comparable performance to the dense ones with substantial reductions in representational complexity.

연구 동기 및 목표

• 무한한 입자가 필요로 하는 일致성에 비해 유한한 메모리로 제한되는 몬테카를로 방법의 확장성 문제를 해결한다.
• 유한하고 대표적인 입자 부분집합과 보정된 가중치를 유지하는 온라인 스트리밍 알고리즘을 개발한다.
• 압축 파rameter를 통해 조절 가능한 편향을 보장함으로써 메모리 사용과 추정 정확도 사이의 조절 가능한 트레이드오���을 확보한다.
• 직접 측도 공간 투영이 불가능한 문제를 해결하기 위해 커널 평균 임bedding를 통해 사후 분포를 RKHS에 임베딩한다.
• MMD 기반 직교 매칭 추적(OMP) 정지 기준을 사용하여 온라인 환경에서 모델 순서의 유한한 성장률을 달성한다.

제안 방법

• 커널 평균 임bedding를 사용하여 사후 밀도 추정치를 재생 커널 힐버트 공간(RKHS)에 임베딩하여 확률 측도에 대한 선형 대수 연산을 가능하게 한다.
• 최대 평균 차이(MMD) — 적분 확률 거리 — 를 사용하여 RKHS 표현을 저차원 부분공간에 순차적으로 투영한다.
• MMD-직교 매칭 추적(OMP) 알고리즘을 적용하여 기존 부분공간으로부터 충분히 떨어져 있는 입자를 반복적으로 선택함으로써 다양성과 대표성을 확보한다.
• MMD 거리 기반 정지 기준을 사용한다: 만약 새로운 입자의 특성 맵이 현재 부분공간으로부터의 거리가 임계값 ε/g(x(n)) 이하이면 해당 입자는 추가되지 않는다.
• 투영 오차를 중요도 가중치와 MMD 거리의 함수로 공식화하여, 압축으로 인한 편향을 이론적으로 제어할 수 있도록 한다.
• 사전 집합에 포함된 입자 수가 유한하고 $ Oig((W/ u)^{2p}ig) $로 상한이 있음을 증명한다. 여기서 $ W $ 는 비정규화된 중요도 가중치의 상한이고, $ u $ 는 압축 임계값이다.

실험 결과

연구 질문

• RQ1 유한한 수의 입자만을 사용하면서도 중요도 샘플링에서 渐近 일치성을 유지할 수 있는가?
• RQ2 온라인 스트리밍 환경에서 압축된 입자 집합이 진정한 사후 분포를 잘 대표할 수 있는가?
• RQ3 유한 입자 압축으로 인해 발생하는 이론적 편향는 무엇이며, 이를 정량화하고 제어할 수 있는가?
• RQ4 MMD 기반 투영 기준이 비정규화된 중요도 가중치가 유한할 조건에서 사전 집합 크기의 유한한 모델 순서 성장을 보장할 수 있는가?
• RQ5 스트리밍 베이지안 추론에서 추정 정확도를 훼손하지 않으면서 얼마나 메모리 복잡도를 줄일 수 있는가?

주요 결과

• 제안된 방법은 압축 파rameter ε에 의해 명시적으로 유계된 편향을 가지며, 이는 메모리 사용과 정확도 사이의 조절 가능한 트레이드오프를 가능하게 한다.
• 사전에 유지되는 입자 수는 유한하며, $ Cig((W/ u)ig)^{2p} $ 로 상한이 있다. 여기서 $ W $ 는 비정규화된 중요도 가중치의 상한이고, $ u $ 는 MMD 임계값이다.
• MMD-OMP 정지 기준은 새로운 입자가 기존 부분공간으로부터 의미 있는 거리만큼 떨어져 있을 경우에만 추가되도록 보장하여, 중복되거나 불필요한 입자 축적을 방지한다.
• 이론적 분석 결과, 모델 순서 성장(즉, 사전 크기 증가)은 MMD 거리가 $ rac{ u}{g(oldsymbol{x}(n))} $ 를 초과할 때만 발생하며, 이는 비정규화된 중요도 가중치가 유한할 경우 항상 0에서 멀리 떨어져 있음을 보장한다.
• 실험 결과는 압축된 추정치가 전체 샘플 중요도 샘플링 성능과 유사한 수준에 도달하며, 표현 복잡도가 크게 감소했음을 보여준다.
• 이 방법은 투영 오차가 $ u $ 로 유계지며, $ u o 0 $ 일 때 진정한 사후 분포로 수렴함을 보장하여, 압축이 점점 사라질 때 일치성을 확보한다.