[논문 리뷰] Count-Min Tree Sketch: Approximate counting for NLP

Guillaume Pitel, Geoffroy Fouquier외 2명|arXiv (Cornell University)|2016. 04. 19.

Advanced Database Systems and Queries참고 문헌 10인용 수 3

한 줄 요약

이 논문은 텍스트 데이터의 지프피안 분포를 활용하여 상대 오차를 크게 감소시키기 위해 피라미드형 카운터와 장벽 비트를 조합한 새로운 근사 카운팅 데이터 구조인 Count-Min Tree Sketch(CMTS)를 제안한다. CMTS는 최적의 저장 크기에서 표준 Count-Min Sketch보다 평균 상대 오차(ARE)가 최대 100배 낮으며, 동일 오차 수준에서 저장 크기의 800% 향상을 달성하여 카운트 및 PMI 추정 정확도 모두에서 대수적 변형보다 뛰어난 성능을 발휘한다.

ABSTRACT

The Count-Min Sketch is a widely adopted structure for approximate event counting in large scale processing. In a previous work we improved the original version of the Count-Min-Sketch (CMS) with conservative update using approximate counters instead of linear counters. These structures are computationaly efficient and improve the average relative error (ARE) of a CMS at constant memory footprint. These improvements are well suited for NLP tasks, in which one is interested by the low-frequency items. However, if Log counters allow to improve ARE, they produce a residual error due to the approximation. In this paper, we propose the Count-Min Tree Sketch (Copyright 2016 eXenSa. All rights reserved) variant with pyramidal counters, which are focused toward taking advantage of the Zipfian distribution of text data.

연구 동기 및 목표

• NLP에서 낮은 빈도의 항목에 대해 근사 카운팅 시 상대 오차가 높은 문제를 해결하기 위해, 표준 Count-Min Sketch(CMS)가 절대 오차 경계는 양호하나 성능이 열악한 점을 개선하고자 한다.
• 텍스트 데이터의 단어 빈도에서의 본질적 지프피안 분포를 활용하여 기존의 근사 카운터인 Count-Min-Log를 초월하고자 한다.
• 낮은 빈도의 이벤트에 대해 높은 정밀도를 유지하면서도, 네이티브 사전 구현과 경쟁 가능한 계산 효율성을 확보하는 메모리 효율적인 스케치 구조를 설계하고자 한다.
• 실제 NLP 워크로드에서 CMTS의 성능을 CMS 및 Count-Min-Log 변형과 비교하여 상대 오차, 절대 오차, PMI 추정 정확도 측면에서 평가하고자 한다.

제안 방법

• CMTS는 카운팅 비트와 장벽 비트를 포함한 계층적 트리 구조를 사용하며, 장벽 비트는 더 높은 정밀도의 카운팅 레이어의 시작을 표시한다.
• 카운터의 값은 v = c + 2×(2^b − 1)로 계산되며, 여기서 b는 상위 비트 중 연속적으로 1로 설정된 장벽 비트의 수이며, c는 그 다음 b+1개의 카운팅 비트의 값이다.
• 카운터를 증가시키는 것은 새로운 장벽 수 nb = min(layers, lsb((nv+2)/4))를 재계산하고, 카운터 구조의 해당 비트를 설정하는 것으로 이루어진다.
• 공유 비트 처리 및 다중 레이어 충돌 상황에서의 오버플로우를 고려한 수정된 get 및 set 알고리즘을 통해 효율적인 병합 및 쿼리가 가능하다.
• 스케치는 128비트 베이스와 32비트 스파이어를 사용하며, 장벽 비트는 1로 설정된 후에는 변경 불가능하여, 더 나은 정밀도 제어를 갖는 대수적 성장 방식을 가능하게 한다.
• 과도한 카운팅을 줄이기 위해 콜드 업데이트(CU)와 통합되었으며, 높은 메모리 압박 조건 하에서 평가되었다.

실험 결과

연구 질문

• RQ1 트리 기반 근사 카운팅 구조는 텍스트 데이터의 지프피안 분포를 활용하여 표준 Count-Min Sketch보다 낮은 빈도의 항목에 대해 상대 오차를 감소시킬 수 있는가?
• RQ2 CMTS는 유니그램 및 바이그램 카운트에서 평균 상대 오차(ARE)와 제곱근 평균 제곱 오차(RMSE) 측면에서 Count-Min-Log와 비교해 어떻게 성능을 내는가?
• RQ3 메모리 제약 조건 하에서 CMTS는 PMI 추정과 같은 후행 NLP 작업의 정확도를 얼마나 향상시키는가?
• RQ4 특히 다중 스레드 환경에서 CMTS의 계산 효율성은 네이티브 해시 맵과 표준 CMS에 비해 어떻게 비교되는가?

주요 결과

• 최적의 저장 크기(100%)에서 CMTS는 평균 상대 오차(ARE)가 10^-3을 기록하여 표준 Count-Min Sketch보다 100배 낮다.
• 최적의 저장 크기에서 CMTS는 ARE를 CMS 대비 100배 감소시키며, 동일 오차 수준에서 저장 크기 개선 비율이 약 800%에 이른다.
• PMI 추정에서 CMTS는 최적의 저장 크기에서 RMSE 측면에서 CMS를 10배 우월하게 성능을 내며, 고메모리 압박 조건에서도 뛰어난 성능을 유지한다.
• 극도의 메모리 압박(이deal 크기의 10% 이하) 하에서는 CMTS가 다른 변형보다 더 빨리 성능이 저하되지만, 결과 오차(RMSE ~2.5, ARE ~31)는 실용적인 사용에 부적합할 정도로 높아, 이는 메모리 제약 조건이 현실적인 범위일 경우에도 CMTS의 효과성이 유지됨을 시사한다.
• CMTS는 네이티브 C++ unordered_map와 경쟁 가능한 계산 효율성을 유지하며, 매우 낮은 오차 수준(10^-5)에서도 비동기 멀티스레드 환경에서 정밀도 저하가 최소한이 된다.
• Count-Min-Log 변형(CMLS16-CU 및 CMLS8-CU)은 이상 크기의 200%를 초과할 경우 잔여 근사 오차로 인해 성능 향상의 감소 효과를 보이며, CMTS는 더 큰 메모리 할당에 따라도 계속해서 성능 향상을 이어간다.