[논문 리뷰] Learning-based Support Estimation in Sublinear Time

Talya Eden, Piotr Indyk외 4명|arXiv (Cornell University)|2021. 06. 15.

Machine Learning and Algorithms참고 문헌 26인용 수 8

한 줄 요약

이 논문은 요소 빈도를 추정하는 기계학습 예측기의 활용을 통해 하위선형 시간 복잡도의 지원 크기 추정을 위한 학습 기반 접근법을 제안한다. 예측기가 진짜 빈도의 상수 배수 이내일 경우, 이 방법은 표본 복잡도를 $\log(1/\varepsilon) \cdot n^{1 - \Theta(1/\log(1/\varepsilon))}$로 감소시키며, 기존의 $O(n / \log n)$ bound를 크게 향상시키고, 실제 데이터셋에서 실험적으로 최대 3배의 정확도 향상을 달성한다.

ABSTRACT

We consider the problem of estimating the number of distinct elements in a large data set (or, equivalently, the support size of the distribution induced by the data set) from a random sample of its elements. The problem occurs in many applications, including biology, genomics, computer systems and linguistics. A line of research spanning the last decade resulted in algorithms that estimate the support up to $ \pm \varepsilon n$ from a sample of size $O(\log^2(1/\varepsilon) \cdot n/\log n)$, where $n$ is the data set size. Unfortunately, this bound is known to be tight, limiting further improvements to the complexity of this problem. In this paper we consider estimation algorithms augmented with a machine-learning-based predictor that, given any element, returns an estimation of its frequency. We show that if the predictor is correct up to a constant approximation factor, then the sample complexity can be reduced significantly, to \[ \ \log (1/\varepsilon) \cdot n^{1-Θ(1/\log(1/\varepsilon))}. \] We evaluate the proposed algorithms on a collection of data sets, using the neural-network based estimators from {Hsu et al, ICLR'19} as predictors. Our experiments demonstrate substantial (up to 3x) improvements in the estimation accuracy compared to the state of the art algorithm.

연구 동기 및 목표

• 대규모 데이터셋에서 하위선형 샘플링을 사용하여 고유 요소 수를 추정하는 기본 문제를 해결하기 위해.
• 기존의 전통적 방법에 대한 알려진 $O(n / \log n)$ 하한선을 초월하여 지원 크기 추정의 표본 복잡도를 감소시키기 위해.
• 요소 빈도의 기계학습 예측기가 더 효율적인 추정을 가능하게 하는지 탐구하기 위해.
• 예측기 신뢰도와 통계적 추정 기법을 통합하는 새로운 알고리즘을 설계하고 평가하기 위해.
• 학습된 신경망 예측기를 사용하여 실제 데이터셋에서 방법의 정확도와 강건성을 실증적으로 검증하기 위해.

제안 방법

• 정밀한 추정을 가능하게 하기 위해 확률 범위를 기하급수적으로 증가하는 간격으로 분할한다.
• 샘플링된 요소를 예측기 $\Pi(i)$를 사용해 추정된 빈도 기반으로 간격에 할당한다.
• 각 간격 내에서 간격별로 특화된 파rameter를 사용하는 체비셰프 다항식을 적용한 수정된 유후앙 추정기법을 적용한다.
• 신뢰할 수 없는 간격 추정을 걸러내는 사고 검증 절차를 통합하여 강건성을 향상시킨다.
• 정확도와 안정성을 균형 잡기 위해 동적으로 간격 기반을 선택하여 열악한 예측에 과적합되는 것을 방지한다.
• 이론적 분석을 통해 예측기가 진짜 빈도의 상수 배수 이내일 경우 표본 복잡도가 $\log(1/\varepsilon) \cdot n^{1 - \Theta(1/\log(1/\varepsilon))}$로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 요소 빈도를 추정하는 기계학습 예측기가 지원 크기 추정의 표본 복잡도를 향상시킬 수 있는가?
• RQ2 예측기가 진짜 빈도의 상수 배수 이내일 경우 이론적 표본 복잡도 향상 정도는 어떠한가?
• RQ3 예측기가 시간이 지남에 따라 오래되었거나 정확도가 떨어질 경우, 제안된 알고리즘이 정확도를 유지할 수 있는가?
• RQ4 실제로 최신 기술인 유후앙 추정기법 대비 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ5 알고리즘은 예측 품질에 얼마나 민감하며, 불완전한 예측 조건에서도 강건성을 확보하기 위한 메커니즘은 무엇인가?

주요 결과

• 예측기가 진짜 빈도의 상수 배수 이내일 경우 제안된 알고리즘이 $\log(1/\varepsilon) \cdot n^{1 - \Theta(1/\log(1/\varepsilon))}$의 표본 복잡도를 달성하며, $O(n / \log n)$의 하한선을 초월해 향상됨을 확인하였다.
• AOL 데이터셋에서 표본 크기가 $n$의 5%와 10%일 경우 각각 중앙값 기준으로 유후앙 추정기법 대비 2.2배에서 3.0배의 정확도 향상을 달성하였다.
• IP 데이터셋에서 표본 크기가 $n$의 1%와 2.5%일 경우 각각 중앙값 기준으로 유후앙 추정기법 대비 1.7배에서 3.0배의 정확도 향상을 달성하였다.
• 알고리즘은 시간이 지나도 강건하게 유지되며, AOL 및 IP 데이터셋에서 여러 일자와 분 단위로 예측기가 오래되었음에도 일관된 성능을 유지함을 보였다.
• 사고 검증 메커니즘이 신뢰할 수 없는 간격 추정을 효과적으로 걸러내어 예측기가 정확도가 떨어질 경우 성능 저하를 방지함을 확인하였다.
• 예측 품질이 열악해질 경우 알고리즘의 성능이 유후앙 추정기법 수준으로 수렴함을 통해 점진적 성능 저하가 보장됨을 확인하였다.