[論文レビュー] A Survey on Preprocessing Methods for Web Usage Data

V. Chitraa, Antony Selvdoss Davamani|arXiv (Cornell University)|Apr 8, 2010

Data Mining Algorithms and Applications参考文献 5被引用数 84

ひとこと要約

本稿は、ウェブ利用データの前処理技術についてサーベイし、ウェブログファイルにおけるセッション再構築とノイズ処理に焦点を当てる。生のノイズを含むログを構造的なセッションレベルのデータに変換するための手法を評価し、パーソナライゼーションや適応型ウェブデザインなどの応用に向けた有効なウェブ利用データマイニングを可能にする。

ABSTRACT

World Wide Web is a huge repository of web pages and links. It provides abundance of information for the Internet users. The growth of web is tremendous as approximately one million pages are added daily. Users' accesses are recorded in web logs. Because of the tremendous usage of web, the web log files are growing at a faster rate and the size is becoming huge. Web data mining is the application of data mining techniques in web data. Web Usage Mining applies mining techniques in log data to extract the behavior of users which is used in various applications like personalized services, adaptive web sites, customer profiling, prefetching, creating attractive web sites etc., Web usage mining consists of three phases preprocessing, pattern discovery and pattern analysis. Web log data is usually noisy and ambiguous and preprocessing is an important process before mining. For discovering patterns sessions are to be constructed efficiently. This paper reviews existing work done in the preprocessing stage. A brief overview of various data mining techniques for discovering patterns, and pattern analysis are discussed. Finally a glimpse of various applications of web usage mining is also presented.

研究の動機と目的

• ウェブ利用データの前処理技術を分析・分類し、マイニングの前段階でデータ品質を向上させる。
• ウェブトラフィックの高頻度および複雑さに起因する、ノイズが多く曖昧なウェブログデータを処理する上での課題を特定する。
• ウェブ利用データマイニングの重要なステップである効果的なセッション再構築の基盤を提供する。
• データ準備の改善を通じて、パーソナライゼーション、カスタマープロファイリング、適応型ウェブシステムなどの後続応用を支援する。
• セッション化、データクリーニング、正規化技術を含む、前処理手法の包括的概要を提供する。

提案手法

• 生のウェブログからのセッション再構築に特に焦点を当てた、既存のウェブ利用データ前処理手法のサーベイと分類。
• ボットトラフィックのフィルタリングや不一致のタイムスタンプの修正など、ノイズ処理のための技術の分析。
• 時間的ギャップとユーザ識別子に基づいて、ユーザリクエストを論理的セッションにグループ化するセッション化アルゴリズムの評価。
• 分析の一貫性を高めるために、ユーザエージェント文字列、URL、その他の属性を標準化する正規化手法のレビュー。
• 大規模なウェブログデータセット上で、正確性、効率性、スケーラビリティの観点から最先端のアプローチを比較。
• データの特性と目的応用に基づいて、前処理手法を選択するためのフレームワークを提供。

実験結果

リサーチクエスチョン

• RQ1 ウェブ利用データマイニングのための生ウェブログデータの前処理において、主な課題は何であるか？
• RQ2 異なるセッション化手法は、時間的ギャップとユーザセッションの境界をどのように処理するか？
• RQ3 ウェブログにおけるノイズ低減とデータ品質向上に効果的な手法は何か？
• RQ4 前処理の選択が、ウェブ利用データマイニングにおける後続のパターン発見の正確性と効率性にどのように影響するか？
• RQ5 ウェブ利用データの前処理において、スケーラビリティと正確性の間にはどのようなトレードオフがあるか？

主な発見

• 前処理はウェブ利用データマイニングにおいて重要かつ非自明なステップであり、後続の分析品質に顕著な影響を与える。
• ログ記録の非一貫性と標準化されたセッション境界の欠如に起因し、セッション再構築は依然として大きな課題である。
• ボット検出やログフィルタリングなどのノイズ低減技術は、データ品質を向上させ、誤ったパターンを低減する。
• URLおよびユーザエージェント文字列の正規化は一貫性を高め、より正確なユーザ行動分析を可能にする。
• 前処理手法の選択は、ウェブ利用データマイニングにおけるパターン発見の性能と信頼性に直接的な影響を与える。
• 一様に最適な前処理手法は存在しない。選択はデータの特性と応用の目的に依存する。