[논문 리뷰] Count-Min-Log sketch: Approximately counting with approximate counters

Guillaume Pitel, Geoffroy Fouquier|arXiv (Cornell University)|2015. 02. 17.

Advanced Database Systems and Queries참고 문헌 10인용 수 22

한 줄 요약

이 논문은 저빈도 사건 추정에서 평균 상대 오차를 줄이기 위해 선형 카운터를 대체로 로그 기반 근사 카운터를 사용하는 Count-Min-Log Sketch를 소개한다. 로그 기반 밑수와 8~16비트 카운터를 사용함으로써, 표준 Count-Min Sketch에 비해 평균 상대 오차가 최대 12배 감소하고, Pointwise Mutual Information에 대해 루트 평균 제곱 오차(RMSE)가 10배 향상되며, 특히 메모리 제약 조건 하에서 뛰어난 성능을 발휘한다.

ABSTRACT

Count-Min Sketch is a widely adopted algorithm for approximate event counting in large scale processing. However, the original version of the Count-Min-Sketch (CMS) suffers of some deficiences, especially if one is interested by the low-frequency items, such as in text-mining related tasks. Several variants of CMS have been proposed to compensate for the high relative error for low-frequency events, but the proposed solutions tend to correct the errors instead of preventing them. In this paper, we propose the Count-Min-Log sketch, which uses logarithm-based, approximate counters instead of linear counters to improve the average relative error of CMS at constant memory footprint.

연구 동기 및 목표

• 텍스트 마이닝 응용에서 흔한 저빈도 사건 추정에서 표준 Count-Min Sketch의 높은 상대 오차 문제를 해결하기 위해.
• 메모리 사용량을 늘리지 않고도 저빈도 어휘의 근사 카운팅 정확도를 향상시키기 위해.
• Count-Min Sketch의 카운터 정밀도 향상으로 인해 Pointwise Mutual Information(PMI) 및 TF-IDF와 같은 후행 NLP 메트릭스의 오차를 줄이기 위해.
• 이전 버전에서 오차를 수정하는 것과 달리, 로그 기반 카운터가 오차를 방지할 수 있는지 평가하기 위해.
• 완벽한 카운트 저장에 필요한 이상적인 크기 이하의 저장소를 사용하는 고압 메모리 환경에서의 성능을 비교하기 위해.

제안 방법

• Count-Min Sketch의 선형 카운터를 대체로, 밑수 b > 1를 사용하여 압축된 로그 스케일로 카운트를 인코딩하는 로그 기반 카운터를 도입한다.
• 보수적인 업데이트 규칙을 사용하여, 현재 카운터 값 기반의 확률적 결정이 성공할 확률이 b^(-c)일 경우에만 항목을 증가시킨다.
• 두 부분으로 나누어진 쿼리 함수를 사용한다: PointValue(c)는 c > 0일 경우 b^(c-1)을 반환하고, Value(c)는 d개의 해시 함수의 최소값에서 진짜 카운트를 선형 보간을 통해 추정한다.
• 20newsgroups 코퍼스에서 유니그램 및 바이그램 빈도 카운팅에 스케치를 적용하여, CMS-CU, CMLS16-CU(밑수 1.00025, 16비트), CMLS8-CU(밑수 1.08, 8비트)를 비교한다.
• 카운트의 평균 상대 오차(ARE)와 PMI 추정치의 루트 평균 제곱 오차(RMSE)를 사용해 성능을 측정한다.
• 고정된 메모리 예산을 설정하고, 완벽한 카운트 저장에 필요한 이상적 저장소 크기의 이론적 최소값과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 Count-Min Sketch에서 선형 카운터를 로그 기반 카운터로 대체하면 저빈도 사건의 평균 상대 오차를 크게 줄일 수 있는가?
• RQ2 이전의 CMS 버전에서 오차를 수정하는 것과 달리, 로그 기반 카운터 설계가 오차 전파를 방지하는가?
• RQ3 로그 기반 밑수와 카운터 비트 폭의 선택이 메모리 효율성과 추정 정확도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 메모리 압박 조건 하에서 제안된 스케치가 Pointwise Mutual Information(PMI)와 같은 후행 NLP 메트릭스에 얼마나 향상된 성능을 제공하는가?
• RQ5 Count-Min-Log Sketch의 성능 향상은 특히 이상적인 완전한 카운트 크기 이하의 저장소 예산에서도 일관되게 유지되는가?

주요 결과

• 16비트 카운터를 사용하는 Count-Min-Log Sketch(CMLS16-CU)는 이상적인 저장소 크기 이르기 전까지 표준 Count-Min Sketch(CMS-CU) 대비 평균 상대 오차를 약 2~4배 감소시킨다.
• 8비트 카운터와 밑수 1.08을 사용하는 CMLS8-CU는 CMS-CU 대비 평균 상대 오차를 7~12배 감소시키며, 최소 ARE 값 10^(-1.5)를 달성한다.
• Pointwise Mutual Information(PMI)에서, CMLS16-CU는 CMS-CU 대비 약 4배, CMLS8-CU는 10배의 RMSE 향상을 보였다. 동일한 메모리 제약 조건 하에서.
• PMI 값 히스토GRAM을 분석한 결과, CMLS8-CU는 기준 분포와 매우 유사한 반면, CMS-CU는 분포의 오른쪽(고관심도) 영역에서 심하게 왜곡되어 있었다.
• CMLS8-CU의 잔차 오차는 약 10^(-1.5)에서 포화 상태에 도달하며, 이는 근사 카운팅으로 인한 경계선 상한선임을 시사하며, 이는 사용된 로그 기반 밑수에 따라 달라진다.
• 메모리가 제한된 고압 환경에서도 이 방법은 성능 향상 효과를 유지한다. 이는 이상적인 완전한 카운트 크기 이하의 저장소를 사용하는 상황에서도 마찬가지다.