[논문 리뷰] Hierarchical Web Page Classification Based on a Topic Model and Neighboring Pages Integration

Wongkot Sriurai, Phayung Meesad외 1명|arXiv (Cornell University)|2010. 03. 07.

Web Data Mining and Analysis참고 문헌 17인용 수 10

한 줄 요약

이 논문은 주제 모델(LDA)를 사용하여 특징 표현을 향상시키고 이웃하는 페이지의 의미적 특징을 통합함으로써 계층적 웹 페이지 분류 방법을 제안한다. 주제 모델링과 이웃하는 페이지의 특징을 결합하고 혼동 행렬 기반의 계층적 SVM을 적용함으로써, 이 접근 방식은 90.33%의 정확도와 90.14%의 F1 측정치를 달성하였으며, 이는 기준 SVM 대비 각각 5.12%와 5.13% 향상된 결과이다.

ABSTRACT

Most Web page classification models typically apply the bag of words (BOW) model to represent the feature space. The original BOW representation, however, is unable to recognize semantic relationships between terms. One possible solution is to apply the topic model approach based on the Latent Dirichlet Allocation algorithm to cluster the term features into a set of latent topics. Terms assigned into the same topic are semantically related. In this paper, we propose a novel hierarchical classification method based on a topic model and by integrating additional term features from neighboring pages. Our hierarchical classification method consists of two phases: (1) feature representation by using a topic model and integrating neighboring pages, and (2) hierarchical Support Vector Machines (SVM) classification model constructed from a confusion matrix. From the experimental results, the approach of using the proposed hierarchical SVM model by integrating current page with neighboring pages via the topic model yielded the best performance with the accuracy equal to 90.33% and the F1 measure of 90.14%; an improvement of 5.12% and 5.13% over the original SVM model, respectively.

연구 동기 및 목표

• 기존의 백오프워즈 모델이 웹 페이지 분류에서 단어 간 의미적 관계를 포착하는 데 한계를 가진다는 문제를 해결하기 위해.
• 이웃하는 웹 페이지의 맥락적 특징을 통합하여 분류 성능을 향상시키기 위해.
• 주제 모델링과 혼동 행렬 기반의 SVM 훈련을 활용하는 계층적 분류 프레임워크를 개발하기 위해.
• 주제 모델링과 이웃하는 페이지의 특징을 통합함으로써 분류 정확도와 F1 스코어에 미치는 영향을 평가하기 위해.

제안 방법

• 원시 텍스트를 잠재 주제 집합으로 변환하기 위해 잠재(dirichlet) 분포 기반 주제 모델링(LDA)을 적용하여 단어의 의미적 군집화를 가능하게 한다.
• 이웃하는 웹 페이지의 단어 특징을 통합하여 현재 페이지의 특징 표현을 풍부하게 한다.
• 혼동 행렬을 활용하여 분류 계층을 안내하는 계층적 서포트 벡터 머신(SVM) 모델을 구축한다.
• 이중 단계 접근 방식을 적용한다: (1) 이웃하는 페이지 통합을 통한 주제 기반 특징 표현, (2) 계층적 SVM 분류.
• 혼동 행렬을 활용하여 SVM의 계층적 구조를 개선하고, 클래스 간 결정 경계를 향상시킨다.

실험 결과

연구 질문

• RQ1 이웃하는 페이지의 특징을 통합하면 웹 페이지 분류 작업에서 의미적 표현이 향상되는가?
• RQ2 주제 모델링과 이웃하는 페이지의 정보를 통합할 경우 분류 정확도와 F1 스코어에 어떤 영향을 미치는가?
• RQ3 혼동 행렬 기반으로 훈련된 계층적 SVM 모델이 웹 페이지 분류에서 표준 SVM보다 우수한가?
• RQ4 주제 모델링은 전통적인 백오프워즈 모델의 한계를 웹 페이지 분류에서 얼마나 줄여주는가?

주요 결과

• 제안된 방법은 분류 정확도 90.33%를 달성하여 기준 SVM 모델 대비 5.12% 향상되었다.
• F1 측정치는 90.14%에 도달하여 원래의 SVM 접근 방식 대비 5.13% 향상되었다.
• 이웃하는 페이지의 특징 통합은 모델이 맥락적이고 의미적인 관계를 포착하는 능력을 크게 향상시켰다.
• 주제 모델링을 활용함으로써 의미적으로 관련된 단어들을 효과적으로 군집화하여, 백오프워즈 접근 방식을 초월한 특징 표현 향상이 이루어졌다.
• 혼동 행렬 기반으로 훈련된 계층적 SVM는 다수의 레벨을 포함한 분류에서 더 나은 일반화 능력과 클래스 간 분류 성능을 보였다.