[論文レビュー] Hierarchical Web Page Classification Based on a Topic Model and Neighboring Pages Integration

Wongkot Sriurai, Phayung Meesad+1 more|arXiv (Cornell University)|Mar 7, 2010

Web Data Mining and Analysis参考文献 17被引用数 10

ひとこと要約

本稿では、トピックモデル（LDA）を用いて特徴表現を向上させるとともに、隣接ページの意味的特徴を統合することで、階層的ウェブページ分類手法を提案する。トピックモデリングと隣接ページ特徴を組み合わせ、誤り行列に基づく階層的SVMを適用することで、90.33%の正確性と90.14%のF1スコアを達成し、それぞれ標準SVMと比較して5.12%および5.13%の向上を示した。

ABSTRACT

Most Web page classification models typically apply the bag of words (BOW) model to represent the feature space. The original BOW representation, however, is unable to recognize semantic relationships between terms. One possible solution is to apply the topic model approach based on the Latent Dirichlet Allocation algorithm to cluster the term features into a set of latent topics. Terms assigned into the same topic are semantically related. In this paper, we propose a novel hierarchical classification method based on a topic model and by integrating additional term features from neighboring pages. Our hierarchical classification method consists of two phases: (1) feature representation by using a topic model and integrating neighboring pages, and (2) hierarchical Support Vector Machines (SVM) classification model constructed from a confusion matrix. From the experimental results, the approach of using the proposed hierarchical SVM model by integrating current page with neighboring pages via the topic model yielded the best performance with the accuracy equal to 90.33% and the F1 measure of 90.14%; an improvement of 5.12% and 5.13% over the original SVM model, respectively.

研究の動機と目的

• ウェブページ分類における従来のbag-of-wordsモデルが語の間の意味的関係を捉えきれていないという限界を是正すること。
• 隣接ウェブページからの文脈的特徴を統合することで分類性能を向上させること。
• トピックモデリングと誤り行列に基づくSVM学習を活用する階層的分類フレームワークを構築すること。
• トピックモデリングと隣接ページ特徴を統合した際の分類正確性およびF1スコアへの影響を評価すること。

提案手法

• 生テキストを潜在的トピックの集合に変換するため、Latent Dirichlet Allocation (LDA) を用いることで語の意味的グループ化を可能にする。
• 隣接するウェブページからの語の特徴を統合し、現在のページの特徴表現を豊かにする。
• 誤り行列を用いて分類階層をガイドする階層的Support Vector Machine (SVM)モデルを構築する。
• 二段階アプローチを適用する：(1) 隣接ページ統合によるトピックベース特徴表現、(2) 階層的SVM分類。
• 誤り行列を用いてSVMの階層的構造を最適化し、クラス間の意思決定境界を改善する。

実験結果

リサーチクエスチョン

• RQ1 隣接ページ特徴を統合することで、分類タスクにおけるウェブページの意味的表現が向上するか？
• RQ2 トピックモデリングと隣接ページ情報の統合が、分類正確性およびF1スコアに与える影響は何か？
• RQ3 誤り行列に基づいて学習された階層的SVMモデルは、標準SVMを上回る性能を示すか？
• RQ4 トピックモデリングは、ウェブページ分類における従来のbag-of-wordsモデルの限界をどの程度軽減するか？

主な発見

• 提案手法は分類正確性90.33%を達成し、ベースラインSVMモデルと比較して5.12%の向上を示した。
• F1スコアは90.14%に達し、元のSVMアプローチと比較して5.13%の増加を記録した。
• 隣接ページ特徴の統合により、モデルの文脈的および意味的関係の捉え込み能力が顕著に向上した。
• トピックモデリングの活用により、意味的に関連する語のグループ化が効果的に行われ、bag-of-wordsアプローチを上回る特徴表現が実現した。
• 誤り行列に基づいて学習された階層的SVMは、多段階分類においてより優れた一般化性能とクラス識別能力を示した。