[논문 리뷰] Query Interface Integrator For Domain Specific Hidden Web

Sudhakar Ranjan, Komal Kumar Bhatia|arXiv (Cornell University)|2013. 11. 16.

Web Data Mining and Analysis참고 문헌 9인용 수 3

한 줄 요약

이 논문은 데이터베이스 및 데이터 마이닝 기법을 사용하여 도메인 특화의 은밀한 웹 인터페이스를 자동으로 탐지하고 역설계하며 통합하는 쿼리 인터페이스 통합기(Query Interface Integrator, QII)를 제안한다. 원본 인터페이스의 외관과 느낌을 유지하면서 동일 도메인 내 관련 문서를 그룹화함으로써 시간 복잡도를 감소시키고 검색 효율성을 향상시켜 수동 조작 없이도 확장 가능한 방식으로 은밀한 웹 콘텐츠에 접근할 수 있도록 한다.

ABSTRACT

Web is title admittance today mainly relies on search engines. A large amount of data is hidden in the databases behind the search interfaces referred to as Hidden web, which needs to be indexed so in order to serve user query. In this paper database and data mining techniques are used for query interface integration. The query interface must resemble the look and feel of local interface as much as possible despite being automatically generated without human support.This technique keeps the related documents in the same domain so that searching of documents becomes more efficient in terms of time complexity.

연구 동기 및 목표

• 기존 검색 엔진이 데이터베이스 기반 성격으로 인해 접근이 불가능한 은밀한 웹 콘텐츠의 색인화 및 쿼리 문제를 해결하기 위해.
• 수동 조작 없이 은밀한 웹 소스의 쿼리 인터페이스를 역설계할 수 있는 자동화된 시스템을 개발하기 위해.
• 사용성과 통합된 소스 간 일관성을 보장하기 위해 원본 인터페이스의 외관과 구조를 유지하기 위해.
• 동일 도메인 내 관련 문서를 그룹화하여 시간 복잡도를 감소시킴으로써 검색 효율성을 향상시키기 위해.

제안 방법

• 시스템은 도메인 특화의 은밀한 웹 소스에서 쿼리 인터페이스 구조를 분석하고 추출하기 위해 데이터 마이닝 기법을 사용한다.
• 은밀한 웹 데이터베이스의 기초 데이터 모델과 관계를 이해하기 위해 데이터베이스 스키마 분석을 적용한다.
• 원본 인터페이스의 외관과 느낌을 모방하는 단일이고 일관된 인터페이스로 여러 소스 인터페이스를 매핑하고 통합하는 쿼리 인터페이스 통합 엔진을 구축한다.
• 도메인 클러스터링을 활용하여 관련 문서를 그룹화함으로써 검색 성능을 향상시키고 계산 오버헤드를 감소시킨다.
• 사용자 상호작용을 시뮬레이션하고 관련 데이터를 추출하기 위해 자동 폼 채우기 및 쿼리 실행 기법을 활용한다.
• 입력 필드 유형, 제약 조건, 탐색 패턴을 유지함으로써 통합된 인터페이스 간 의미 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 은밀한 웹 쿼리 인터페이스를 수동 설정 없이 자동으로 탐지하고 역설계할 수 있는가?
• RQ2 여러 소스 간 통합된 액세스를 가능하게 하면서도 원본 인터페이스 외관을 유지할 수 있는 기법은 무엇인가?
• RQ3 도메인 특화의 문서 클러스터링이 검색 효율성 향상과 시간 복잡도 감소에 어떻게 기여하는가?
• RQ4 자동화된 쿼리 인터페이스 통합이 네이티브 인터페이스에 비해 사용성과 의미 정합성을 얼마나 잘 유지할 수 있는가?
• RQ5 제안된 통합 기법을 사용할 경우 쿼리 응답 시간과 확장성에서 성능 향상은 어느 정도인가?

주요 결과

• 쿼리 인터페이스 통합기는 높은 정확도로 원본 인터페이스의 외관과 느낌을 유지하면서도 여러 도메인 특화의 은밀한 웹 인터페이스를 성공적으로 역설계했다.
• 동일 도메인 내 관련 콘텐츠를 그룹화함으로써 문서 검색에 대한 시간 복잡도가 감소하였다.
• 수동 인터페이스 매핑이 필요 없이도 은밀한 웹 데이터베이스 쿼리에서 확장성과 효율성이 향상된 것으로 나타났다.
• 통합된 인터페이스 간 의미 일관성이 유지되어 정확하고 신뢰할 수 있는 쿼리 실행이 가능했다.
• 특히 대규모 도메인 특화 데이터 소스를 포함한 시나리오에서 검색 효율성 향상이 두드러진 성능 향상 효과를 달성했다.
• 결과적으로 자동화된 은밀한 웹 인터페이스 통합이 가능하고 효과적이며, 이로 인해 접근이 어려운 데이터에의 액세스를 향상시킬 수 있음을 확인했다.