[논문 리뷰] Probabilistic Models for Query Approximation with Large Sparse Binary Datasets

Dmitry Pavlov, Heikki Mannila외 1명|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 15인용 수 30

한 줄 요약

이 논문은 대규모 희박한 이元 데이터셋에서 실시간 쿼리 선택도 추정을 향상시키기 위해 빈번한 집합과 최대 엔트로피를 기반으로 한 마르코프 무작위 필드(MRF) 모델을 제안한다. MRF 접근법은 독립성 또는 초우-리우 트리 모델보다 유의미하게 더 정확한 확률 추정을 달성하지만, 더 높은 계산 비용을 수반하며, 이는 버킷 제거와 클리크 트리 알고리즘을 사용하여 구조적 쿼리 및 모델에 대한 확장 가능한 추론을 통해 완화된다.

ABSTRACT

Large sparse sets of binary transaction data with millions of records and thousands of attributes occur in various domains: customers purchasing products, users visiting web pages, and documents containing words are just three typical examples. Real-time query selectivity estimation (the problem of estimating the number of rows in the data satisfying a given predicate) is an important practical problem for such databases. We investigate the application of probabilistic models to this problem. In particular, we study a Markov random field (MRF) approach based on frequent sets and maximum entropy, and compare it to the independence model and the Chow-Liu tree model. We find that the MRF model provides substantially more accurate probability estimates than the other methods but is more expensive from a computational and memory viewpoint. To alleviate the computational requirements we show how one can apply bucket elimination and clique tree approaches to take advantage of structure in the models and in the queries. We provide experimental results on two large real-world transaction datasets.

연구 동기 및 목표

• 대규모 희박한 이원 트랜잭션 데이터에서 실시간 쿼리 선택도 추정의 과제를 해결하기 위해.
• 수백만 건의 레코드와 수천 개의 속성을 가진 데이터셋에 대한 쿼리에 대한 확률 추정의 정확도를 향상시키기 위해.
• 실제 세계 데이터셋에서 확률 모델—특히 MRF, 독립성, 초우-리우 트리 모델—을 평가하고 비교하기 위해.
• 버킷 제거 및 클리크 트리와 같은 구조 인식 최적화 기법을 통해 MRF 추론의 계산 비용을 줄이기 위해.
• 확률 모델링을 통해 실용적인 데이터베이스 워크로드에서 확장 가능하고 효율적인 쿼리 근사화를 가능하게 하기 위해.

제안 방법

• 저자는 빈번한 아이템세트를 기반으로 훈련된 마르코프 무작위 필드(MRF) 모델을 사용하여 희박한 이원 데이터의 고차원 의존성을 포착한다.
• 관측된 빈번한 집합과 일치하는 가장 균일한 분포를 보장하기 위해 최대 엔트로피 원리를 사용하여 MRF를 구성한다.
• 모델과 쿼리 양쪽의 조건부 독립성 구조를 활용하여 추론 비용을 줄이기 위해 버킷 제거 및 클리프 트리 알고리즘을 적용한다.
• MRF의 국소적 그래프 구조를 활용하여 결합 쿼리에 대한 효율적인 확률 추정을 지원한다.
• 속성 간 독립성을 가정하는 독립성 모델과 첫 번째 차수의 마르코프 네트워크인 초우-리우 트리 모델과의 비교를 수행한다.
• 희박하고 고차원적인 이원 데이터에 최적화된 변수 제거 기법을 사용하여 추론을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 희박한 이원 데이터셋에서 MRF 기반 모델은 독립성 모델과 초우-리우 트리 모델에 비해 쿼리 선택도 추정에서 어떻게 성능을 냈는가?
• RQ2 빈번한 집합과 최대 엔트로피 원리의 사용이 확률적 쿼리 근사화의 정확도를 향상시킬 수 있는가?
• RQ3 MRF 추론의 계산 오버헤드는 얼마이며, 버킷 제거 및 클리프 트리와 같은 구조 인식 알고리즘을 통해 줄일 수 있는가?
• RQ4 모델 구조와 쿼리 구조가 상호작용하여 추론 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 수백만 건의 트랜잭션과 수천 개의 속성을 가진 실제 세계 데이터셋에 확장 가능한가?

주요 결과

• 빈번한 집합과 최대 엔트로피를 활용한 MRF 모델은 독립성 모델과 초우-리우 트리 모델보다 유의미하게 더 정확한 확률 추정을 제공한다.
• 두 개의 대규모 실세계 트랜잭션 데이터셋에서 MRF 접근법은 기준 모델보다 선택도 추정에서 뛰어난 성능을 보였다.
• 더 높은 계산 및 메모리 비용에도 불구하고, MRF 모델은 고차원 의존성을 모델링할 수 있는 능력 덕분에 뛰어난 정확도를 달성한다.
• 버킷 제거 및 클리프 트리 알고리즘은 모델과 쿼리 구조의 조건부 독립성을 활용하여 추론 시간과 메모리 사용량을 효과적으로 줄였다.
• 제안된 최적화 기법들은 확장 가능한 추론을 가능하게 하여 MRF 모델이 대규모 데이터베이스에서 실시간 쿼리 근사화에 실용적으로 적용될 수 있도록 했다.
• 결과는 빈번한 아이템세트에서 유도된 구조적 정보를 통합할 경우 모델의 정밀도와 추정 정확도가 크게 향상됨을 보여주었다.