[논문 리뷰] A Fuzzy Approach for Pertinent Information Extraction from Web Resources

Radhouane Boughammoura, Mohamed Nazih Omri외 1명|arXiv (Cornell University)|2012. 06. 05.

Web Data Mining and Analysis참고 문헌 15인용 수 7

한 줄 요약

이 논문은 사용자가 제공한 예시를 통해 반구조화된 웹 페이지에서 관련 정보를 추출할 수 있도록 학습하는 퍼지 논리 기반 워퍼 유도 방법을 제안한다. 유도 학습과 퍼지 논리 규칙을 결합함으로써, 특히 누락된 속성, 철자 오류, 변동하는 속성 순서 처리에서 SoftMealy보다 뛰어난 정밀도와 재현율을 달성한다.

ABSTRACT

Recent work in machine learning for information extraction has focused on two distinct sub-problems: the conventional problem of filling template slots from natural language text, and the problem of wrapper induction, learning simple extraction procedures (wrappers) for highly structured text such as Web pages. For suitable regular domains, existing wrapper induction algorithms can efficiently learn wrappers that are simple and highly accurate, but the regularity bias of these algorithms makes them unsuitable for most conventional information extraction tasks. This paper describes a new approach for wrapping semistructured Web pages. The wrapper is capable of learning how to extract relevant information from Web resources on the basis of user supplied examples. It is based on inductive learning techniques as well as fuzzy logic rules. Experimental results show that our approach achieves noticeably better precision and recall coefficient performance measures than SoftMealy, which is one of the most recently reported wrappers capable of wrapping semi-structured Web pages with missing attributes, multiple attributes, variant attribute permutations, exceptions, and typos.

연구 동기 및 목표

• 불규칙하거나 반구조화된 웹 데이터에서 어려움을 겪는 기존 워퍼 유도 알고리즘의 한계를 해결하기 위해.
• 누락된 속성 및 철자 오류와 같은 데이터 일관성 문제 존재하더라도 사용자가 제공한 예시에서 추출 규칙을 학습할 수 있는 방법을 개발하기 위해.
• 구조적 규칙성이 자주 존재하지 않는 실세계 웹 데이터에서 추출 성능을 향상시키기 위해.
• 퍼지 논리와 유도 학습을 통합하여 웹 페이지 레이아웃의 불확실성과 변동성을 견고하게 처리하기 위해.

제안 방법

• 사용자가 제공한 추출 예시에서 일반화하기 위해 유도 학습 기법을 사용한다.
• 퍼지 논리 규칙을 적용하여 속성 위치와 값의 불확실성과 변동성을 모델링한다.
• 누락된 속성, 다중 속성, 다양한 속성 순서의 변형이 있는 경우에도 추출 패턴을 학습한다.
• 일치 가능성에 소속도도수를 할당하여 체류 예외 및 철자 오류에 동적으로 대응한다.
• 라벨이 붙은 예시를 기반으로 워퍼를 훈련하고, 퍼지 추론을 통해 점진적으로 추출 규칙을 개선한다.
• 규칙 기반 추론과 학습을 결합하여 반구조화된 데이터에서 정확성과 견고성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 불규칙한 포맷과 누락된 데이터가 있는 반구조화된 웹 페이지에서 워퍼 유도 시스템이 정보를 효과적으로 추출할 수 있는가?
• RQ2 퍼지 논리 통합이 철자 오류와 다양한 속성 순서가 존재하는 상황에서 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 정밀도와 재현율 측면에서 SoftMealy와 같은 기존 워퍼를 어느 정도 뛰어넘는가?
• RQ4 완전한 스키마 애너테이션 없이도 사용자가 제공한 예시만으로 견고한 추출 시스템을 훈련시킬 수 있는가?

주요 결과

• 제안된 퍼지 워퍼는 반구조화된 웹 페이지에서 SoftMealy보다 뚜렷이 높은 정밀도와 재현율을 달성한다.
• 이 방법은 누락된 속성, 다중 속성, 다양한 속성 순서의 변형을 효과적으로 처리한다.
• 웹 페이지 레이아웃의 철자 오류와 예외에 대해 뛰어난 견고성을 보인다.
• 퍼지 논리 통합은 제한된 사용자 예시에서 일반화 능력을 향상시킨다.
• 데이터 구조가 페이지 간에 크게 다를 경우에도 높은 정확도를 유지한다.
• 실험 결과는 이 방법이 불규칙한 데이터를 포함한 실세계 추출 작업에서 우수한 성능을 보임을 확인한다.