[논문 리뷰] On the Automated Classification of Web Sites

John M. Pierre|ArXiv.org|2001. 02. 01.

Web Data Mining and Analysis참고 문헌 13인용 수 77

한 줄 요약

이 논문은 구조화된 메타데이터와 지능적인 스팼딩을 활용하여 산업 분류에 대한 정확도를 향상시키는 대상 지향적이고 자동화된 웹사이트 분류 시스템을 제안한다. HTML 메타태그가 가장 높은 분류 성능을 제공함을 입증하며, 의미 웹을 위한 확장 가능한 도메인 특화 메타데이터 생성을 가능하게 한다.

ABSTRACT

In this paper we discuss several issues related to automated text classification of web sites. We analyze the nature of web content and metadata in relation to requirements for text features. We find that HTML metatags are a good source of text features, but are not in wide use despite their role in search engine rankings. We present an approach for targeted spidering including metadata extraction and opportunistic crawling of specific semantic hyperlinks. We describe a system for automatically classifying web sites into industry categories and present performance results based on different combinations of text features and training data. This system can serve as the basis for a generalized framework for automated metadata creation.

연구 동기 및 목표

• 광범위하고 급속도로 증가하는 웹 콘텐츠를 자동 분류를 통해 조직화하는 데 도전하는 것.
• 광범위한 메타데이터 사용이 부족한 상황에서도 정확한 웹사이트 분류를 위한 효과적인 텍스트 특징을 규명하는 것.
• 대상 크롤링과 학습 가능한 분류 기반으로 확장 가능한 도메인 특화 자동 메타데이터 생성 프레임워크를 개발하는 것.
• 특히 메타태그를 포함한 다양한 텍스트 특징이 분류 정확도에 미치는 영향을 평가하는 것.
• 의미 웹을 지원하는 일반화된 자동 메타데이터 생성 시스템의 기반을 마련하는 것.

제안 방법

• 고차별성 가치가 높은 콘텐츠를 우선시하여, 구조화된 메타데이터와 의미적으로 관련된 하이퍼링크를 추출하기 위해 대상 스파이더링을 활용하는 것.
• 추출된 특징 기반으로 사전 정의된 산업 분류에 따라 웹사이트를 분류하는 학습 가능한 텍스트 분류 엔진을 사용하는 것.
• 높은 관련성과 정확도를 보이므로 메타태그를 주요 특징으로 우선시하며, 필요할 경우에만 본문 텍스트로 대체하는 것.
• 다단계 분류 파이프라인을 구현: 특징 추출 → 도메인 특화 데이터로 학습 → 성능 평가를 통한 분류.
• 특징 선택 향상과 분류의 강건성 향상을 위해 기존 도메인 지식을 활용하는 것.
• 미래의 의미 웹 표준 및 비텍스트 콘텐츠와의 통합을 지원하기 위해 확장 가능한 시스템 설계를 하는 것.

실험 결과

연구 질문

• RQ1 메타태그, 제목 태그, 본문 텍스트와 같은 다양한 텍스트 특징이 자동 웹사이트 분류에 얼마나 효과적인가?
• RQ2 구조화된 메타데이터 사용이 비구조화된 텍스트에 비해 분류 정확도를 얼마나 향상시키는가?
• RQ3 대상 스파이더링 전략이 특징 추출 효율성과 분류 성능을 향상시키는가?
• RQ4 학습 데이터의 품질과 도메인 특화성이 분류 결과에 어떤 영향을 미치는가?
• RQ5 자동 분류 시스템을 어떻게 일반화하여 다각적이고 확장 가능한 메타데이터 생성을 지원할 수 있는가?

주요 결과

• HTML 메타태그는 자동 분류에 있어 가장 고품질의 텍스트 특징을 제공하며, 본문 텍스트에 비해 정확도에서 뚜렷한 우위를 보인다.
• 효과적임에도 불구하고 메타태그는 실질적으로 널리 사용되지 않아 메타데이터 기반 웹 조직화의 성능 저하 요인으로 작용한다.
• 메타데이터 추출과 의미 하이퍼링크 탐색을 우선시하는 대상 스파이더링 전략이 특징 확보 효율성을 향상시킨다.
• 도메인 특화 데이터로 훈련된 시스템은 높은 분류 정확도를 달성하여 대상 훈련 세트의 가치를 입증한다.
• 이 접근법은 의미 웹을 지원하는 일반화된 자동 메타데이터 생성 시스템의 실현 가능한 기반을 마련한다.
• 결과적으로 자동 분류가 웹상에서 확장 가능하고 정확하며 확장 가능한 메타데이터 생성의 핵심 추진력이 될 수 있음을 시사한다.