[論文レビュー] Web Usage mining framework for Data Cleaning and IP address Identification

Priyanka Verma, Nishtha Kesswani|arXiv (Cornell University)|Aug 23, 2014

Web Data Mining and Analysis参考文献 9被引用数 5

ひとこと要約

本論文は、ウェブログの前処理におけるデータクリーニングおよびIPアドレス特定に焦点を当てたウェブ利用マイニングフレームワークを提案する。ノイズの多いログエントリをフィルタリングし、正確に一意のユーザーを特定するための手法を導入することで、クリーニング後の識別可能なユーザー数を削減し、その後続の分析に向けたデータ品質を向上させる。

ABSTRACT

The World Wide Web is the most wide known information source that is easily available and searchable. It consists of billions of interconnected documents Web pages are authored by millions of people. Accesses made by various users to pages are recorded inside web logs. These log files exist in various formats. Because of increase in usage of web, size of web log files is increasing at a much faster rate. Web mining is application of data mining technique to these log files. It can be of three types Web usage mining, Web structure mining and Web content mining. Web Usage mining is mining of usage patterns of users which can then be used to personalize web sites and create attractive web sites. It consists of three main phases: Preprocessing, Pattern discovery and Pattern analysis. In this paper we focus on Data cleaning and IP Address identification stages of preprocessing. Methodology has been proposed for both the stages. At the end conclusion is made about number of users left after IP address identification.

研究の動機と目的

• 大規模なウェブ利用マイニングにおけるノイズが多く不整合なウェブログデータの課題に対処すること。
• ウェブログ前処理における体系的なデータクリーニングアプローチを開発することで、データ品質を向上させること。
• ウェブログにおけるIPアドレス解釈を用いて、正確に一意のユーザーを特定すること。
• 重複または無効なエントリを削除することで、データの重複を低減すること。
• 改善された前処理を通じて、信頼性のあるユーザー行動分析の基盤を提供すること。

提案手法

• ウェブログにおけるデータクリーニングおよびIPアドレス特定に焦点を当てた構造的な前処理パイプラインを提案する。
• 無効、不完全、または破損したログエントリを削除するためのデータクリーニング技術を適用する。
• ログエントリを個々のユーザーまたはセッションにマッピングするためのIPアドレス特定を実装する。
• パターンベースのフィルタリングを用いて、正当なアクセス記録と異常な記録を区別する。
• 一貫したパースを可能にするために、標準的なウェブログフォーマット（例：W3C、Common Log）を入力として使用する。
• IPアドレスフォーマットの正規化および標準化を実施し、ログ間での一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ウェブログデータはどのように効果的にクリーニングされ、利用マイニングのためのデータ品質が向上するか？
• RQ2 ウェブログにおけるIPアドレスから一意のユーザーを正確に特定するにはどのような技術が利用可能か？
• RQ3 データクリーニングはノイズをどの程度低減し、ユーザー特定の正確性を向上させるか？
• RQ4 提案されたフレームワークは、ログファイルフォーマットや構造の不整合性をどのように処理するか？
• RQ5 前処理は、IP解釈後の識別可能なユーザー数にどのような影響を与えるか？

主な発見

• データクリーニングフェーズは、無効で破損したログエントリの大部分を効果的に削除し、データの整合性を向上させた。
• IPアドレス特定プロセスは、ログエントリを一意のユーザー セッションに効果的にマッピングし、重複を低減した。
• フレームワークは前処理後の識別可能なユーザー数を削減しており、効果的な重複除去およびノイズ除去を示している。
• 異なるウェブログフォーマットにおいて一貫したパフォーマンスを示し、スケーラビリティを確保した。
• 前処理パイプラインは、その後続のユーザー行動分析の信頼性を顕著に向上させた。
• 本研究は、適切なデータクリーニングおよびIP解釈が、正確なウェブ利用マイニングに不可欠であることを確認した。