[논문 리뷰] Unasssuming View-Size Estimation Techniques in OLAP

Kamel Aouiche, Daniel Lemire|ArXiv.org|2007. 03. 12.

Advanced Database Systems and Queries참고 문헌 8인용 수 4

한 줄 요약

이 논문은 OLAP 데이터 웨어하우스에서 비현저한 뷰 크기 추정 기법—Gibbons-Tirthapura, 확률적 카운팅, LogLog, 다중분수 모델링—을 평가한다. 실험 결과 Gibbons-Tirthapura는 모든 뷰 크기에서 안정적이고 이론적으로 경계된 추정치를 제공하는 반면, 확률적 카운팅은 큰 뷰에서 더 정확하고, LogLog은 성능이 열 劣하며, 다중분수 방법은 가장 빠르지만 정밀도가 낮다.

ABSTRACT

Even if storage was infinite, a data warehouse could not materialize all possible views due to the running time and update requirements. Therefore, it is necessary to estimate quickly, accurately, and reliably the size of views. Many available techniques make particular statistical assumptions and their error can be quite large. Unassuming techniques exist, but typically assume we have independent hashing for which there is no known practical implementation. We adapt an unassuming estimator due to Gibbons and Tirthapura: its theoretical bounds do not make unpractical assumptions. We compare this technique experimentally with stochastic probabilistic counting, LogLog probabilistic counting, and multifractal statistical models. Our experiments show that we can reliably and accurately (within 10%, 19 times out 20) estimate view sizes over large data sets (1.5 GB) within minutes, using almost no memory. However, only Gibbons-Tirthapura provides universally tight estimates irrespective of the size of the view. For large views, probabilistic counting has a small edge in accuracy, whereas the competitive sampling-based method (multifractal) we tested is an order of magnitude faster but can sometimes provide poor estimates (relative error of 100%). In our tests, LogLog probabilistic counting is not competitive. Experimental validation on the US Census 1990 data set and on the Transaction Processing Performance (TPC H) data set is provided.

연구 동기 및 목표

• OLAP 데이터 웨어하우스에서 비현저한 뷰 크기 추정 기법의 정확도와 성능을 평가하는 것.
• 실제 데이터 웨어하우스 워크로드에서 최신 비현저한 추정기—Gibbons-Tirthapura, 확률적 카운팅, LogLog, 다중분수 모델링—을 비교하는 것.
• 특히 작은 뷰 크기에서 추정 오차에 대한 이론적 경계가 실제로 성립하는지 평가하는 것.
• 다양한 추정 기법 간 메모리 사용량, 속도, 정확도 간 상호 교환 관계를 규명하는 것.
• 물리적 뷰 선택 히وري스틱에 적용할 수 있는 경험적 지침을 제공하는 것.

제안 방법

• 3차 독립 해싱을 사용해 이론적 보장을 제공하는 비현저한, 경계된 오차 추정치를 제공하는 Gibbons-Tirthapura 추정기의 응용.
• 해싱 기반의 고유 수 카운팅을 기반으로 하는 확률적 카운팅 및 LogLog 확률적 카운팅의 구현. 정확도 제어를 위해 메모리 파라미터 M 사용.
• 분포 가정 없이 표본 통계(고유 수 F₀, 최대 빈도 m_max, 표본 크기 N′)를 기반으로 한 다중분수 모델을 사용해 뷰 크기를 추정.
• 표준화된 테스트 프로토콜 적용: 다양한 비율(p ∈ {0.1%, 0.3%, 0.5%, 0.7%})로 데이터 샘플링, 각 기법으로 뷰 크기 추정, 시간 및 추정치 기록, 정확한 크기와 비교.
• 신뢰도 평가 및 이론적 경계 준수 여부 평가를 위해 20회 반복 시 95번째 백분위수 오차 측정.
• 일반화성을 확보하기 위해 실제(미국 1990 인구 조사) 및 합성(TPC-H) 데이터 세트를 모두 활용해 성능 평가.

실험 결과

연구 질문

• RQ1 Gibbons-Tirthapura, 확률적 카운팅, LogLog과 같은 비현저한 추정기의 이론적 오차 경계가 다양한 뷰 크기에서 실제로 성립하는가?
• RQ2 특히 비대칭 효과가 두드러지는 작은 뷰에서 각 추정기의 정확도는 어떻게 변하는가?
• RQ3 Gibbons-Tirthapura, 확률적 카운팅, LogLog, 다중분수 샘플링 기반 방법 간 속도 및 정확도 간 상호 교환 관계는 어떠한가?
• RQ4 다중분수 모델은 통계적 가정이 있음에도 불구하고 전체 스캔 기반 추정기의 실용적 빠른 대체 수단이 될 수 있는가?
• RQ5 메모리 사용량(M)이 각 기법의 정확도에 미치는 영향은 어떠한가? 이론적으로 예상되는 1/√M 정확도 스케일링이 실제로도 관찰되는가?

주요 결과

• Gibbons-Tirthapura는 모든 뷰 크기에서 일관되게 경계된 안정적인 추정치를 제공하며, 이론적 95번째 백분위수 오차 경계(19/20 신뢰도)가 실험적으로 확인되었다.
• 작은 뷰 크기에서는 확률적 카운팅과 LogLog이 100%를 초과하는 상대 오차를 보이며, 중요한 경우에 신뢰성이 떨어짐.
• 다중분수 추정기는 다른 방법들보다 약 100배 빠르게 동작하여 추정을 약 2초 내로 완료하지만, 정밀도는 낮은 추정치를 제공함.
• 확률적 카운팅은 정확도와 속도 면에서 LogLog을 모두 능가하므로, 이론적 매력에도 불구하고 LogLog는 권장되지 않음.
• 추정 시간은 스트리밍 및 해싱 처리에 의해 주로 차지하며, 미국 1990 인구 조사 데이터 세트에서 Gibbons-Tirthapura, 확률적 카운팅, LogLog 각각 약 5~7분 소요.
• 모든 추정기의 메모리 사용량은 극히 적음(수 MiB 수준)으로, 이론적 메모리 파라미터 M를 고려할지라도 데이터 웨어하우스 환경에서 실용적임.