[논문 리뷰] Sampling Sketches for Concave Sublinear Functions of Frequencies

Edith Cohen, Ofir Geri|arXiv (Cornell University)|2019. 07. 04.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 대규모 분산 데이터셋에서 키 빈도의 오목한 하향선형 함수를 추정하기 위한 조합 가능한 샘플링 스케치를 소개한다. 크기가 작고 통계적으로 정확한, 함수 가중 기여도 비례 샘플링을 가능하게 함으로써, 이 방법은 이상적 샘플에 가까운 추정 정확도를 달성하며, 스케치 크기는 원하는 샘플 크기와 거의 같아진다.

ABSTRACT

We consider massive distributed datasets that consist of elements modeled as key-value pairs and the task of computing statistics or aggregates where the contribution of each key is weighted by a function of its frequency (sum of values of its elements). This fundamental problem has a wealth of applications in data analytics and machine learning, in particular, with concave sublinear functions of the frequencies that mitigate the disproportionate effect of keys with high frequency. The family of concave sublinear functions includes low frequency moments ($p \leq 1$), capping, logarithms, and their compositions. A common approach is to sample keys, ideally, proportionally to their contributions and estimate statistics from the sample. A simple but costly way to do this is by aggregating the data to produce a table of keys and their frequencies, apply our function to the frequency values, and then apply a weighted sampling scheme. Our main contribution is the design of composable sampling sketches that can be tailored to any concave sublinear function of the frequencies. Our sketch structure size is very close to the desired sample size and our samples provide statistical guarantees on the estimation quality that are very close to that of an ideal sample of the same size computed over aggregated data. Finally, we demonstrate experimentally the simplicity and effectiveness of our methods.

연구 동기 및 목표

• 키 기여도가 그 빈도의 오목한 하향선형 함수에 의해 가중되는 대규모 분산 데이터셋에서 통계를 효율적으로 계산하는 과제를 해결한다.
• 기존의 집계 기반 샘플링의 비효율성을 극복하기 위해 전체 빈도 집계를 피하는 조합 가능한 스케치를 설계한다.
• 최소한의 공간과 강력한 통계 보장을 갖는, 함수 가중 기여도 비례 샘플링(예: 로그 빈도, p ≤ 1인 p-노름)을 가능하게 한다.
• 스케치 크기를 원하는 샘플 크기와 거의 같게 유지하면서, 집계된 데이터에 대해 이상적 샘플과 비교해 근사한 추정 정확도를 확보한다.

제안 방법

• 전체 집계 없이도 핵심 빈도 쌍의 압축 표현을 유지하는 조합 가능한 샘플링 스케치를 설계한다.
• 로그함수, 캡핑, 저차수 모멘트(p ≤ 1)를 포함한 모든 오목한 하향선형 함수에 대해 스케치 구조를 맞춤형으로 조정한다.
• 키가 함수 가중 기여도 비례 확률로 선택되도록 가중 샘플링 원리를 적용한다.
• 다른 데이터 파artition에서 생성된 스케치를 다시 계산하지 않고도 병합할 수 있도록 분산 계산을 지원하는 조합 가능성 확보.
• 오목한 하향선형 함수의 성질을 활용해 추정 오차를 제한하고 통계적 정밀도를 보장한다.
• 스케치 크기가 점 渐진적으로 목표 샘플 크기와 가까워지도록 스케치를 구성함으로써 공간 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 분산 시스템에서 키 빈도의 오목한 하향선형 함수를 정확하게 추정할 수 있는 조합 가능한 샘플링 스케치를 설계할 수 있는가?
• RQ2 스케치의 추정 정확도가 집계된 데이터에 대해 계산된 이상적 샘플의 정확도와 얼마나 가까운가?
• RQ3 이러한 스케치의 공간 복잡도는 원하는 샘플 크기 대비 얼마나 되는가?
• RQ4 이 방법은 로그함수 및 캡핑 함수를 포함한 임의의 오목한 하향선형 함수로 일반화될 수 있는가?
• RQ5 정확도와 효율성 측면에서, 난이도 높은 집계 기반 샘플링 대비 실질적인 환경에서 스케치는 어떻게 성능을 내는가?

주요 결과

• 제안된 조합 가능한 샘플링 스케치는 집계된 데이터에 대해 동일한 크기의 이상적 샘플과 거의 동일한 추정 정확도를 달성한다.
• 스케치 크기가 원하는 샘플 크기와 매우 가까워, 분산 환경에서의 공간 오버헤드를 최소화한다.
• 이 방법은 저빈도 모멘트(p ≤ 1), 로그함수, 캡핑 함수를 포함한 모든 오목한 하향선형 함수를 지원한다.
• 스케치는 조합 가능하므로 전체 빈도 집계가 필요 없이 효율적인 분산 계산을 가능하게 한다.
• 실험 결과는 실질적 환경에서 이 방법의 단순성과 효과성을 입증한다.
• 추정 오차에 대한 통계 보장은 강력하며 이상 샘플링의 이론적 기대와 거의 정확히 일치한다.