[논문 리뷰] Optimal Algorithms for Crawling a Hidden Database in the Web

Cheng Sheng, Nan Zhang외 2명|arXiv (Cornell University)|2012. 08. 01.

Web Data Mining and Analysis참고 문헌 4인용 수 4

한 줄 요약

이 논문은 정적 링크가 아닌 동적 인터페이스를 통해 액세스 가능한 웹 기반 데이터베이스인 숨겨진 데이터베이스를 크롤링하기 위한 증명 가능하게 최적의 알고리즘을 제시한다. 이는 모든 튜플을 추출하기 위해 필요한 쿼리 수를 최소화하는 데 초점이 맞춰져 있다. 수치형 데이터에 적합한 rank-shrink 및 범주형 데이터에 적합한 lazy-slice-cover를 포함한 제안된 방법들은 점근적 최적성을 달성하며, 실제 데이터셋에서 뛰어난 실험적 성능을 보이며, 하이브리드 알고리즘을 통해 점진적인 튜플 추출이 가능하다.

ABSTRACT

A hidden database refers to a dataset that an organization makes accessible on the web by allowing users to issue queries through a search interface. In other words, data acquisition from such a source is not by following static hyper-links. Instead, data are obtained by querying the interface, and reading the result page dynamically generated. This, with other facts such as the interface may answer a query only partially, has prevented hidden databases from being crawled effectively by existing search engines. This paper remedies the problem by giving algorithms to extract all the tuples from a hidden database. Our algorithms are provably efficient, namely, they accomplish the task by performing only a small number of queries, even in the worst case. We also establish theoretical results indicating that these algorithms are asymptotically optimal -- i.e., it is impossible to improve their efficiency by more than a constant factor. The derivation of our upper and lower bound results reveals significant insight into the characteristics of the underlying problem. Extensive experiments confirm the proposed techniques work very well on all the real datasets examined.

연구 동기 및 목표

• 기존의 링크 기반 크롤링으로는 접근이 불가능한, 인터페이스 기반 쿼리 접근과 결과 제한으로 인해 접근이 어려운 숨겨진 데이터베이스를 효율적으로 크롤링하는 문제에 대응한다.
• 가장 나쁜 경우 상황에서도 가능한 한 최소한의 쿼리로 숨겨진 데이터베이스의 모든 튜플을 추출하는 알고리즘을 개발한다.
• 제안된 알고리즘이 점근적으로 최적임을 증명하기 위해 이론적 하한선을 수립한다—즉, 쿼리 효율성을 초과해 더 이상 향상시킬 수 있는 알고리즘이 존재하지 않음을 보장한다.
• 점진적으로 튜플을 출력하여 조기 종료 시에도 유용한 결과를 제공하는 실용적인 크롤링 알고리즘을 설계한다.
• 다양한 실제 데이터셋(예: Yahoo! Autos, NSF)에서 쿼리 결과 제한(k)을 다양하게 설정한 조건 하에서 알고리즘의 성능을 평가한다.

제안 방법

• 수치형 데이터 전용으로 제안된 rank-shrink 알고리즘은 범위 쿼리를 사용해 데이터 공간을 재귀적으로 분할하여 중복되거나 겹치는 결과를 최소화한다.
• 범주형 데이터에 적합한 slice-cover와 그 최적화된 변형인 lazy-slice-cover를 도입하며, 속성 값 기반의 계층적 분할을 통해 모든 가능한 튜플 조합을 효율적으로 커버한다.
• 수치형과 범주형 속성을 모두 포함하는 혼합 속성 데이터셋을 다룰 수 있도록 rank-shrink와 lazy-slice-cover를 조합한 하이브리드 알고리즘을 설계한다. 이 알고리즘은 각 쿼리마다 최적의 전략을 동적으로 선택한다.
• 이론적 분석을 기반으로 쿼리 복잡도에 대한 상한과 하한을 유도하여, 가장 나쁜 경우 조건 하에서도 알고리즘의 점근적 최적성을 증명한다.
• 정확성을 훼손하지 않으면서도 런타임 성능을 향상시키기 위해 slice-cover에서 지연 평가와 같은 휴리스틱 기법을 구현한다.
• 점진적 쿼리 실행을 통해 튜플이 점진적으로 출력되도록 보장하여, 크롤러가 조기에 중단되어도 유의미한 결과 부분집합을 확보할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고정된 결과 제한 k를 가진 숨겨진 데이터베이스에서 모든 튜플을 추출하기 위해 필요한 최소 쿼리 수는 얼마인가?
• RQ2 가장 나쁜 입력 분포 조건 하에서도 쿼리 복잡도 측면에서 증명 가능하게 최적인 알고리즘을 설계할 수 있는가?
• RQ3 속성 유형(수치형, 범주형, 또는 혼합형)은 크롤링 알고리즘의 구조와 효율성에 어떤 영향을 미치는가?
• RQ4 점진적으로 결과를 제공하는 크롤링 알고리즘을 설계할 수 있는가? 이 경우 부분 실행 시에도 의미 있는 튜플 부분집합을 얻을 수 있는가?
• RQ5 slice-cover에서 지연 평가와 같은 휴리스틱 최적화 기법은 이론적 보장을 훼손하지 않으면서도 실용적 성능을 어떻게 향상시키는가?

주요 결과

• rank-shrink 알고리즘은 수치형 데이터셋에 대해 점근적 최적성을 달성하며, 이론적 하한선과 상수 인자 범위 내에서 쿼리 복잡도가 일치한다.
• lazy-slice-cover 알고리즘은 이론적으로 최적인 slice-cover와 비교해도 실질적으로 NSF와 같은 범주형 데이터셋에서 더 뛰어난 성능을 보이며, DFS보다도 우수하다.
• 하이브리드 알고리즘은 rank-shrink과 lazy-slice-cover를 성공적으로 융합하여 Yahoo! Autos와 Adult와 같은 혼합 속성 데이터셋에서도 견고한 성능을 보였다.
• 실험 결과 하이브리드 알고리즘이 선형적인 점진성 특성을 보였다. 총 쿼리 수의 20%에서 약 30%의 튜플을 추출할 수 있었으며, 이는 시간이 지남에 따라 일관되고 예측 가능한 출력을 제공함을 의미한다.
• 실제 데이터에서 3방향 분할 빈도가 낮은 편(예: Adult-numeric)이므로, rank-shrink의 쿼리 비용은 차원 수 d에 대해 실질적으로 선형으로 증가한다. 이는 이론적 예측과 일치한다.
• 고도의 튜플 중복이 있는 데이터셋(예: Yahoo! Autos에서 64개 이상의 동일 튜플)의 경우 k가 너무 작을 때(예: k=64), 어떤 알고리즘도 데이터베이스를 완전히 추출할 수 없음을 확인하였으며, 이는 데이터 분포가 쿼리 가능성을 결정짓는 데 중요한 역할을 함을 시사한다.