[논문 리뷰] Discover Aggregates Exceptions over Hidden Web Databases

Saad Bin Suhaim, Weimo Liu외 1명|arXiv (Cornell University)|2016. 11. 19.

Web Data Mining and Analysis참고 문헌 17인용 수 4

한 줄 요약

이 논문은 아마존 및 이베이와 같은 동적 은닉 웹 데이터베이스에서 AVG 및 SUM과 같은 집계 쿼리의 돌연한 변화(예외)를 효율적으로 탐지하기 위해 새로운 계층적 표본 추출 및 쿼리 재발행 기법을 제안한다. 여러 집계에 걸쳐 표본을 재사용하고 높은 영향도를 가진 쿼리 후보를 우선순위에 따라 정렬함으로써, 엄격한 쿼리 예산 제약 조건 하에서 재현율과 정밀도를 크게 향상시킨다. 실제 실험에서 기존 기반 기반 방법들을 능가한다.

ABSTRACT

Nowadays, many web databases "hidden" behind their restrictive search interfaces (e.g., Amazon, eBay) contain rich and valuable information that is of significant interests to various third parties. Recent studies have demonstrated the possibility of estimating/tracking certain aggregate queries over dynamic hidden web databases. Nonetheless, tracking all possible aggregate query answers to report interesting findings (i.e., exceptions), while still adhering to the stringent query-count limitations enforced by many hidden web databases providers, is very challenging. In this paper, we develop a novel technique for tracking and discovering exceptions (in terms of sudden changes of aggregates) over dynamic hidden web databases. Extensive real-world experiments demonstrate the superiority of our proposed algorithms over baseline solutions.

연구 동기 및 목표

• 제한된 쿼리 액세스 조건 하에서 동적 은닉 웹 데이터베이스의 집계 쿼리에서 돌연한 변화(예외)를 탐지하는 문제를 해결하기 위해.
• 기존 방법들이 각 집계 쿼리를 별도로 처리함으로써 표본의 중복과 쿼리 낭비가 발생하는 비효율성을 해결하기 위해.
• 엄격한 예산 제약 조건 하에서 여러 집계 간에 표본을 재사용하여 정보 수확량을 극대화하는 기법을 개발하기 위해.
• 시장 변화나 이질성을 시사하는 가격 하락, 급여 인상 등의 집계 추세를 실시간으로 모니터링할 수 있도록 하기 위해.
• 제3자 분석가, 정부 기관, 상업 기관이 은닉 웹 데이터를 모니터링하기 위한 확장 가능하고 쿼리 효율적인 솔루션을 제공하기 위해.

제안 방법

• 두 단계 프레임워크를 제안: (1) 후보 집계를 식별하기 위한 쿼리 풀 생성, (2) 계층적 표본 추출 및 지능형 쿼리 재발행을 통한 예외 탐지.
• 예상 영향도와 불확실성에 기반해 쿼리 후보를 우선순위 정렬하기 위한 점수 함수를 도입하여 단순 COUNT 기반 선택 방식을 대체한다.
• 개별 표본을 여러 집계 쿼리에 재사용하는 계층적 표본 추출 전략을 적용하여 중복 쿼리를 줄인다.
• 남은 예산을 높은 영향도를 가진 쿼리에 재할당하는 동적 쿼리 재발행 메커니즘을 사용하여 추정 정확도를 향상시킨다.
• 표본 추출 효율성과 적응형 예산 할당을 통합한 PRIORITY-UDOMETER 알고리즘을 적용하여 예외 탐지 성능을 향상시킨다.
• 실제 쿼리 제한(예: 일일 5,000건) 조건 하에서 성능을 평가하기 위해 아마존 및 이베이의 실세계 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 엄격한 쿼리 제한 조건 하에서 동적 은닉 웹 데이터베이스의 집계 쿼리(예: AVG, SUM)에서 예외를 효율적으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 여러 집계에 걸쳐 표본 재사용을 통해 쿼리 비용을 얼마나 줄일 수 있으며, 추정 정확도는 유지할 수 있는가?
• RQ3 점수 기반 우선순위 정렬 전략이 단순 COUNT 기반 선택 대비 높은 영향도 예외를 식별하는 데 얼마나 효과적인가?
• RQ4 적응형 재발행 기반의 계층적 표본 추출 접근 방식이 예산 제약 조건 하에서 기반 기반 방법보다 재현율과 정밀도 면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 제안된 방법은 다양한 유형의 은닉 웹 데이터베이스와 집계 쿼리 워크로드에 대해 얼마나 잘 스케일링되는가?

주요 결과

• 쿼리 예산이 제한된 경우(예: s ≥ 1000), PRIORITY-UDOMETER 알고리즘이 UDOMETER보다 유의미하게 높은 재현율과 정밀도를 달성한다.
• 후보 우선순위 정렬에 점수 함수를 사용하는 것이 높은 COUNT만 선택하는 것보다 일관되게 우수하며, 다양한 k 및 지지 임계값 조건에서 재현율과 정밀도를 향상시킨다.
• 실제로 발생한 예외, 예를 들어 2014년 블랙 프라이데이에 아마존 파이어 스마트폰의 가격이 $111로 하락한 사례를 성공적으로 탐지하여 실용적 관련성을 입증했다.
• 어떤 후보를 잘못 분류하더라도 PRIORITY-UDOMETER는 11월 20일에 GRAY 색상 스마트폰의 평균 가격 하락 추세를 정확히 포착했다.
• 개별 표본을 여러 집계에 재사용함으로써 중복 표본 추출을 줄여 더 높은 쿼리 효율성과 추정 정확도를 달성했다.
• 실세계 데이터셋을 대상으로 한 광범위한 실험 결과, 제안된 방법이 엄격한 쿼리 제한 조건 하에서 돌연한 집계 변화를 탐지하는 데 기반 기반 솔루션을 능가하는 것으로 나타났다.