[논문 리뷰] Composable Sketches for Functions of Frequencies: Beyond the Worst Case

Edith Cohen, Ofir Geri외 1명|IT University Of Copenhagen (IT University of Copenhagen)|2020. 04. 09.

Machine Learning and Algorithms참고 문헌 47인용 수 5

한 줄 요약

이 논문은 높은 순서의 모멘트(p > 2) 및 임계값 함수와 같은 '어려운' 주파수 함수에 대해 정확하고 공간 소모가 작은 샘플링을 가능하게 하는 구성 가능한 스케치(composable sketches)를 소개한다. 이는 노이즈가 있는 머신러닝 예측 또는 실제 주파수 분포를 활용함으로써 달성된다. 놀랍게도, 최악의 경우 하한선이 다항식 크기 필요로 하는 것으로 보고 있음에도 불구하고, 다수의 로그 크기의 스케치가 실제로 높은 정확도를 달성한다.

ABSTRACT

Recently there has been increased interest in using machine learning techniques to improve classical algorithms. In this paper we study when it is possible to construct compact, composable sketches for weighted sampling and statistics estimation according to functions of data frequencies. Such structures are now central components of large-scale data analytics and machine learning pipelines. However, many common functions, such as thresholds and p-th frequency moments with p > 2, are known to require polynomial-size sketches in the worst case. We explore performance beyond the worst case under two different types of assumptions. The first is having access to noisy advice on item frequencies. This continues the line of work of Hsu et al. (ICLR 2019), who assume predictions are provided by a machine learning model. The second is providing guaranteed performance on a restricted class of input frequency distributions that are better aligned with what is observed in practice. This extends the work on heavy hitters under Zipfian distributions in a seminal paper of Charikar et al. (ICALP 2002). Surprisingly, we show analytically and empirically that "in practice" small polylogarithmic-size sketches provide accuracy for "hard" functions.

연구 동기 및 목표

• 주파수 기반 통계의 스케칭에서 이론적 최악의 경우 하한선과 실용적 성능 사이의 격차를 해소한다.
• 특히 이론적으로 '어려운' 것으로 간주되는 주파수 함수에 대해 가중치가 있는 샘플링과 통계 추정을 지원하는 구성 가능한 스케치를 설계한다.
• 노이즈가 있는 머신러닝 예측이나 현실적인 주파수 분포를 통합함으로써 최악의 경우를 초월한 성능을 탐색한다.
• 실제 데이터에서 고차수 모멘트(p > 2)와 임계값 함수를 정확하게 추정할 수 있는 작은 스케치를 입증한다.

제안 방법

• 머신러닝 모델의 노이즈가 있는 조언을 활용하여 주파수 함수의 샘플링 확률을 안내하는 구성 가능한 스케치 프레임워크를 제안한다.
• 각 키의 상대적 무게가 낮은 순위의 키들의 尾부와 비교될 때, 상수 c로 매개변수화된 상위 조건에 기반한 보편적 에뮬레이션 조건을 도입한다.
• 제한된 오버헤드를 가진 광범위한 함수 클래스를 에뮬레이트할 수 있는 기본 스케치로 다목적 볼록-하향 함수 샘플링을 사용한다.
• 레마 5.6을 적용하여 보편적 에뮬레이션 오버헤드를 h′(1 + 1/c)로 경계한다. 여기서 h′은 볼록-하향 함수를 에뮬레이트할 때의 오버헤드이다.
• ℓ₁, ℓ₂ 및 볼록-하향 함수에서 유도된 기본 확률을 사용한 PPS(크기 비례 확률 샘플링)를 활용하여 실세계 데이터셋에서 스케치 성능을 평가한다.
• 실제 주파수 분포 하에서 스케치 크기와 추정 오차 사이의 트레이드오프를 분석하여, 실무적으로 작은 스케치로도 충분함을 보여준다.

실험 결과

연구 질문

• RQ1 최악의 경우 하한선이 다항식 크기 필요로 하는 것으로 보고 있음에도 불구하고, 실세계 데이터에서 '어려운' 주파수 함수(예: p > 2, 임계값)에 대해 구성 가능한 스케치가 다수의 로그 크기로 구현될 수 있는가?
• RQ2 항목 주파수에 대한 노이즈가 있는 머신러닝 예측을 통합할 경우, 주파수 함수의 통계 추정에서 스케치 정확도는 어떻게 향상되는가?
• RQ3 어떤 주파수 분포의 구조적 조건이 작은 스케치가 광범위한 주파수 함수 클래스를 정확하게 에뮬레이트할 수 있도록 허용하는가?
• RQ4 ℓ₁ 또는 ℓ₂ 샘플링과 같은 표준 스케치가 실세계 데이터에서 어려운 함수를 위한 보편적 에뮬레이터로 얼마나 잘 작동하는가?

주요 결과

• 실세계 데이터셋에서 고차수 주파수 모멘트(p > 2)와 임계값 함수를 추정할 때 다수의 로그 크기 스케치가 높은 정확도를 달성하며, 최악의 경우 하한선을 우회한다.
• 실제 분포에서 ℓ₁ 및 볼록-하향 함수 스케치의 보편적 에뮬레이션 오버헤드는 [92, 1673] 범위로 제한되며, hε⁻² ≪ n 조건에서 실용적으로 의미가 있다.
• ℓ₂ 기반 스케치는 고차수 모멘트에서는 잘 작동하지만, '성장이 느린' 함수의 경우 꼬리 부분 커버리지가 열악하여 에뮬레이션 오버헤드가 높다.
• 모든 볼록-하향 함수를 보편적으로 에뮬레이트할 수 있는 스케치를 가능하게 하는 조건으로서, minᵢ (iwᵢ / ∑ⱼ>i wⱫ) ≥ c 를 만족하는 주파수 분포가 존재한다. 이 경우 오버헤드는 h′(1 + 1/c)로 제한된다.
• 실험 결과는 심지어 '쉬운' 함수(예: ℓ₁, ℓ₂)를 위한 스케치도 실세계 데이터에서 '어려운' 함수를 정확하게 추정할 수 있음을 보여주며, 특히 꼬리가 두꺼운 분포일 경우 더욱 그렇다.
• 캡핑 함수 조건을 통한 보편적 에뮬레이션 프레임워크는 이론적 제약에도 불구하고 작은 스케치가 실무에서 잘 작동하는 이유에 대한 이론적 근거를 제공한다.