[논문 리뷰] Sampling to estimate arbitrary subset sums

Nick Duffield, Carsten Lund외 1명|ArXiv.org|2005. 09. 09.

Data Management and Algorithms참고 문헌 13인용 수 9

한 줄 요약

이 논문은 단일 샘플에서 임의의 부분합을 편향 없이 추정할 수 있도록 하는 새로운 가중치 민감도가 있고, 교체 없이 시행하는 샘플링 방법인 우선순위 샘플링을 소개한다. 각 항목에 대해 $ q_i = w_i / \alpha_i $ (여기서 $ \alpha_i \sim \text{Uniform}(0,1) $)로 우선순위를 할당하고, 상위 $ k $개의 우선순위 항목을 선택하며, 각 항목에 대해 $ \widehat{w}_i = \max\{w_i, \tau\} $ (여기서 $ \tau $는 $ (k+1)^{\text{th}} $ 번째 우선순위임)로 가중치 추정치를 부여함으로써, 추정치 간 상관계수가 0이고 변동성이 거의 최적에 가까운 편향 없는 추정기를 보장한다. 이는 인터넷 트래픽 분석과 같은 무거운 尾(heavy-tailed) 설정에서 이전 방법들을 능가한다.

ABSTRACT

Starting with a set of weighted items, we want to create a generic sample of a certain size that we can later use to estimate the total weight of arbitrary subsets. For this purpose, we propose priority sampling which tested on Internet data performed better than previous methods by orders of magnitude. Priority sampling is simple to define and implement: we consider a steam of items i=0,...,n-1 with weights w_i. For each item i, we generate a random number r_i in (0,1) and create a priority q_i=w_i/r_i. The sample S consists of the k highest priority items. Let t be the (k+1)th highest priority. Each sampled item i in S gets a weight estimate W_i=max{w_i,t}, while non-sampled items get weight estimate W_i=0. Magically, it turns out that the weight estimates are unbiased, that is, E[W_i]=w_i, and by linearity of expectation, we get unbiased estimators over any subset sum simply by adding the sampled weight estimates from the subset. Also, we can estimate the variance of the estimates, and surpricingly, there is no co-variance between different weight estimates W_i and W_j. We conjecture an extremely strong near-optimality; namely that for any weight sequence, there exists no specialized scheme for sampling k items with unbiased estimators that gets smaller total variance than priority sampling with k+1 items. Very recently Mario Szegedy has settled this conjecture.

연구 동기 및 목표

• 네트워크 트래픽에서 흔한 중량이 무거운 분포에서, 단일 샘플의 가중치가 부여된 항목들로부터 임의의 부분합을 추정하는 문제를 해결하기 위해.
• 높은 가중치 항목을 선호하는 가중치 민감도와 동시에 교체 없이 시행하는 샘플링 기법을 설계하기 위해.
• 샘플링 시점에 부분합의 정체성을 알 수 없더라도, 결과적으로 얻어지는 가중치 추정치가 편향 없고 분산이 낮다는 것을 보장하기 위해.
• 실시간 응용 분야인 인터넷 트래픽 모니터링에 적합한 실용적이고 효율적인 알고리즘을 개발하기 위해.

제안 방법

• 각 항목 $ i $ 에 대해 $ \alpha_i \sim \text{Uniform}(0,1) $ 이면, 랜덤 우선순위 $ q_i = w_i / \alpha_i $ 를 할당하여 무거운 항목일수록 더 높은 우선순위를 확보하도록 한다.
• 상위 $ k $개의 우선순위 항목을 선택하여 샘플 $ S $ 를 구성하고, $ \tau $ 를 $ (k+1)^{\text{th}} $ 번째로 높은 우선순위로 정의한다.
• 샘플링된 항목 $ i \in S $ 에 대해 추정 가중치 $ \widehat{w}_i = \max\{w_i, \tau\} $ 를 할당하고, 비샘플링 항목에 대해서는 $ \widehat{w}_i = 0 $ 으로 설정한다.
• 기대값의 선형성 원리를 활용하여, 부분합에 속한 샘플링된 항목들의 추정 가중치를 합하여 임의의 부분합을 추정한다.
• 우선순위 큐 또는 버퍼 기반 리저보어 샘플링 변형을 사용하여 각 항목당 $ O(\log k) $ 또는 $ O(1) $ 시간에 샘플을 유지한다.
• 스트리밍 환경에서 동적으로 샘플링 임계값을 조정하기 위해 고가중치 항목의 임계값과 집합을 저장 및 유지한다.

실험 결과

연구 질문

• RQ1 샘플링 시점에 부분합의 정체성이 알려지지 않은 상황에서도, 편향 없는 부분합 추정이 가능한 가중치 민감도가 있고 교체 없이 시행하는 샘플링 기법을 설계할 수 있는가?
• RQ2 이러한 기법이 동일한 부분합 추정 작업에 대해 특화된 대안 대비 거의 최적의 분산을 달성하는가?
• RQ3 이 방법은 낮은 항목당 계산 비용으로 스트리밍 환경에서 효율적으로 구현 가능한가?
• RQ4 이론적 분석에서 제안된 바와 같이, 서로 다른 항목들의 추정 가중치 간 상관계수가 정확히 0인가?
• RQ5 실시간 트래픽 모니터링에 적합하게, 동적 또는 임계값 기반 샘플링으로의 응용이 가능한가?

주요 결과

• 추정 가중치 $ \widehat{w}_i $ 는 정확히 편향 없이: $ \mathbb{E}[\widehat{w}_i] = w_i $ 이며, 기대값의 선형성 원리를 통해 부분합 추정이 정확하다.
• 서로 다른 항목 $ i $ 와 $ j $ 에 대해 추정 가중치 $ \widehat{w}_i $ 와 $ \widehat{w}_j $ 간 상관계수가 정확히 0임은 놀라운 성질이며, 추정의 안정성을 향상시킨다.
• 우선순위 샘플링는 거의 최적의 분산을 달성한다: $ k $개 항목을 샘플링하는 데 편향 없는 추정기를 사용하는 특화된 방법 중에서, 우선순위 샘플링가 $ k+1 $개 항목을 사용할 경우 총 분산이 더 낮아질 수 없다.
• 실제 인터넷 트래픽 분석에서 이전 방법들에 비해 수개의 주요 차이를 보이며, 특히 중량이 무거운 분포에서 뛰어난 성능을 발휘한다.
• 효율적인 스트리밍 변형이 존재한다: 버퍼 기반의 완화를 통해 항목당 $ O(1) $ 시간을 확보하여 실시간 구현이 가능하다.
• 이론적 거의 최적성 추측은 나중에 셰게디에 의해 증명되어, 이 방법의 근본적인 효율성을 확인했다.