[논문 리뷰] Design of Automatically Adaptable Web Wrappers

Emilio Ferrara, Robert Baumgartner|CogPrints (University of Southampton)|2011. 03. 07.

Web Data Mining and Analysis참고 문헌 18인용 수 6

한 줄 요약

이 논문은 HTML DOM 구조의 트리그램 스냅샷을 사용하여 웹 페이지의 구조적 변화를 탐지하고 적응하는 자동 웹 래퍼 적응 기법을 제안한다. 원본과 현재의 DOM 트리를 비교하기 위해 군집화된 트리 매칭 알고리즘을 적용함으로써, 시스템은 최소한의 인간 간섭으로 래퍼가 자가 적응할 수 있도록 하여 유지보수 부담을 크게 감소시키면서도 동적인 웹 환경에서 높은 추출 정확도와 강건성을 유지한다.

ABSTRACT

Nowadays, the huge amount of information distributed through the Web motivates studying techniques to be adopted in order to extract relevant data in an efficient and reliable way. Both academia and enterprises developed several approaches of Web data extraction, for example using techniques of artificial intelligence or machine learning. Some commonly adopted procedures, namely wrappers, ensure a high degree of precision of information extracted from Web pages, and, at the same time, have to prove robustness in order not to compromise quality and reliability of data themselves. In this paper we focus on some experimental aspects related to the robustness of the data extraction process and the possibility of automatically adapting wrappers. We discuss the implementation of algorithms for finding similarities between two different version of a Web page, in order to handle modifications, avoiding the failure of data extraction tasks and ensuring reliability of information extracted. Our purpose is to evaluate performances, advantages and draw-backs of our novel system of automatic wrapper adaptation.

연구 동기 및 목표

• HTML 웹 페이지의 빈번한 구조적 변화로 인한 웹 래퍼의 높은 유지보수 비용을 해결하기 위해.
• 페이지 업데이트 후 래퍼의 수동 디버깅 및 재설정에 대한 의존도를 줄이기 위해.
• 인간의 재프로그래밍 없이도 래퍼가 소규모 구조적 변화에 자동으로 적응할 수 있도록 하기 위해.
• 생산 환경에서 웹 래퍼의 강건성과 수명을 향상시키기 위해.
• DOM 트리 간의 구조 유사도 탐지 기반으로 확장 가능한 자동 솔루션을 개발하기 위해.

제안 방법

• 후속 비교를 위해 래퍼 생성 시 DOM 트리의 스냅샷(트리그램)을 저장한다.
• 원본과 현재의 DOM 트리를 비교하기 위해 군집화된 트리 매칭 알고리즘을 적용하여 구조적 유사도를 계산한다.
• 노드 레이블과 구조적 특징을 기반으로 하위트리 간 최대 매칭을 동적 프로그래밍을 통해 계산한다.
• 노드 차수, 형제 수, 속성 유사도(예: class, id, href)를 통합하여 매칭 정확도를 향상시킨다.
• 매칭된 노드 수를 최대 형제 수로 나눈 비율을 유사도 점수로 정의함으로써 정밀도를 구성 가능하게 한다.
• 감지된 구조적 유사도를 바탕으로 XPath 표현식과 추출 규칙을 자동으로 업데이트하여 래퍼 기능을 유지한다.

실험 결과

연구 질문

• RQ1 소규모 HTML 웹 페이지의 구조적 변화에 대해 웹 래퍼를 자가 적응 가능하게 만들 수 있는 방법은 무엇인가?
• RQ2 두 개의 DOM 트리 간의 구조적 유사도를 측정하는 데 있어 효율적이고 정확한 방법은 무엇인가?
• RQ3 트리 매칭 알고리즘을 어떻게 개선하여 구성 가능한 정밀도로 자동 래퍼 적응을 지원할 수 있는가?
• RQ4 자동 적응이 수동 래퍼 유지보수의 필요성을 얼마나 줄일 수 있는가?
• RQ5 실제 시나리오에서 제안된 적응 메커니즘의 성능은 수동 재설정과 비교해 어떻게 되는가?

주요 결과

• 군집화된 트리 매칭 알고리즘이 원본과 수정된 웹 페이지 간 유사한 하위트리를 효과적으로 식별하여 정확한 래퍼 적응을 가능하게 한다.
• 요소의 재정렬 및 소규모 DOM 수정과 같은 다양한 구조적 변화 상황에서도 래퍼의 기능을 성공적으로 유지한다.
• 적응 과정은 수동 간섭의 필요성을 크게 감소시켜 유지보수 비용을 낮추고 장기적인 신뢰성을 향상시킨다.
• 페이지 레이아웃이 재정렬된 경우에도 유사한 구조 패턴을 높은 정밀도로 매칭한다.
• Lixto Suite 플랫폼 내 실세계 배포 환경에서의 확장성과 강건성을 입증한다.
• 검증 실험 결과, 적응된 래퍼는 데이터 추출 정확도를 유지하며, 부정확성 또는 실패 비율이 최소한으로 발생한다.