[논문 리뷰] Harnessing the Deep Web: Present and Future

Jayant Madhavan, Loredana Afanasiev외 2명|UvA-DARE (University of Amsterdam)|2009. 09. 09.

Web Data Mining and Analysis참고 문헌 14인용 수 94

한 줄 요약

이 논문은 자동 크롤링과 쿼리 인터페이스 추출을 통해 구조화된 딥 웹 콘텐츠를 노출하는 실용적인 시스템을 제시하며, 50개 이상의 언어와 수백 개의 도메인에서 초당 1,000개 이상의 검색 쿼리를 인덱싱하는 실세계 스케일러빌리티를 입증한다. 이는 가상 통합과 대비하여 실생산 환경에서의 실용성과 확장성을 강조하는 바이며, 이질적인 구조화된 데이터 통합 분야의 핵심 연구 과제를 규명한다.

ABSTRACT

Over the past few years, we have built a system that has exposed large volumes of Deep-Web content to Google.com users. The content that our system exposes contributes to more than 1000 search queries per-second and spans over 50 languages and hundreds of domains. The Deep Web has long been acknowledged to be a major source of structured data on the web, and hence accessing Deep-Web content has long been a problem of interest in the data management community. In this paper, we report on where we believe the Deep Web provides value and where it does not. We contrast two very different approaches to exposing Deep-Web content -- the surfacing approach that we used, and the virtual integration approach that has often been pursued in the data management literature. We emphasize where the values of each of the two approaches lie and caution against potential pitfalls. We outline important areas of future research and, in particular, emphasize the value that can be derived from analyzing large collections of potentially disparate structured data on the web.

연구 동기 및 목표

• 실세계 검색 시스템에서 딥 웹 데이터의 실용적 가치와 한계를 평가하기 위해.
• 딥 웹 콘텐츠에 접근하기 위한 서페이싱과 가상 통합 접근 방식을 비교하기 위해.
• 딥 웹에서 대규모이고 이질적인 구조화된 데이터를 통합하는 데 있어 핵심 과제와 기회를 규명하기 위해.
• 생산 수준의 딥 웹 인덱싱 시스템의 실현 가능성과 성능을 입증하기 위해.

제안 방법

• 쿼리 템plate와 양식 채우기 히우리스틱을 사용한 딥 웹 데이터베이스 자동 크롤링.
• 프로그래밍 방식의 쿼리 제출과 응답 파싱을 통한 동적 웹 양식에서의 구조화된 데이터 추출.
• 효율적 검색을 위한 중심화된 검색 인덱스에 노출된 콘텐츠 인덱싱.
• 언어에 종속되지 않고 스키마에 종속되지 않는 기법을 사용해 다국어 및 이질적인 데이터 소스를 처리.
• 다양한 도메인에서 초당 1,000건 이상의 쿼리를 처리할 수 있는 확장 가능한 인프라 구축.
• 쿼리 수량, 언어 다양성, 도메인 커버리지 등을 통해 시스템 성능 평가.

실험 결과

연구 질문

• RQ1 대규모로 딥 웹 데이터를 노출할 때 서페이싱 접근 방식은 가상 통합에 비해 얼마나 효과적인가?
• RQ2 실세계 구현에서 각 접근 방식의 실용적 한계와 성능 트레이드오프는 무엇인가?
• RQ3 자동화 기법을 사용해 딥 웹에서 효과적으로 인덱싱할 수 있는 구조화된 데이터의 양과 다양성은 어느 정도인가?
• RQ4 사전 스키마 정렬 없이도 다국어 및 이질적인 데이터 소스를 어떻게 처리하는가?
• RQ5 딥 웹 콘텐츠 노출을 위한 생산 수준의 시스템을 구축하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 서페이싱 접근 방식은 50개 이상의 언어와 수백 개의 도메인에서 초당 1,000건 이상의 검색 쿼리를 성공적으로 인덱싱하고 노출하였다.
• 시스템은 높은 확장성과 실세계 성능을 입증하여 대규모 딥 웹 콘텐츠 노출의 실현 가능성을 확인하였다.
• 가상 통합의 이론적 우월성에도 불구하고, 실생산 환경에서는 서페이싱가 더 실용적이고 확장 가능하다는 것이 밝혀졌다.
• 스키마 이질성과 데이터 품질 문제로 인해 이질적인 구조화된 데이터 소스 통합에 여전히 큰 과제가 존재한다.
• 본 논문은 대규모이고 이질적인 구조화된 데이터 분석을 향후 핵심 연구 방향으로 규명하며, 상당한 잠재적 가치를 지닌다.