[論文レビュー] Integrating E-Commerce and Data Mining: Architecture and Challenges

S. Ansari, Ron Kohavi+2 more|ArXiv.org|Jul 14, 2000

Advanced Database Systems and Queries参考文献 3被引用数 12

ひとこと要約

本稿は、データマイニングをアプリケーション層に直接統合する統合型の電子商取引アーキテクチャを提案しており、アプリケーションサーバー層でのメタデータ収集を可能にすることで、データ準備時間を短縮する。ビジネスデータ定義、顧客インタラクション、分析を標準化されたデータブリッジを通じて統合することで、知識発見のプロセスを簡素化し、クリックストリームや取引データからの実行可能なイン사이트を可能にする。

ABSTRACT

We show that the e-commerce domain can provide all the right ingredients for successful data mining and claim that it is a killer domain for data mining. We describe an integrated architecture, based on our expe-rience at Blue Martini Software, for supporting this integration. The architecture can dramatically reduce the pre-processing, cleaning, and data understanding effort often documented to take 80% of the time in knowledge discovery projects. We emphasize the need for data collection at the application server layer (not the web server) in order to support logging of data and metadata that is essential to the discovery process. We describe the data transformation bridges required from the transaction processing systems and customer event streams (e.g., clickstreams) to the data warehouse. We detail the mining workbench, which needs to provide multiple views of the data through reporting, data mining algorithms, visualization, and OLAP. We con-clude with a set of challenges.

研究の動機と目的

• データマイニングプロジェクトの80％を占めるデータ前処理の時間コストを低減するため、アプリケーションサーバー層にデータ収集とメタデータ定義を統合すること。
• 標準化されたデータ変換ブリッジを通じて、取引システム、顧客イベントストリーム、データマイニングツールの間のシームレスな統合を実現すること。
• 分析結果とリアルタイムの顧客体験パーソナライゼーションの間のループを閉じることで、実行可能なデータマイニングを支援すること。
• 大規模なeコマース環境における、複雑で階層的かつ進化する顧客および製品データのモデリングにおける課題を克服すること。

提案手法

• ビジネスデータ定義、顧客インタラクション、分析の3つのコンponentからなる3部構造アーキテクチャを提案し、ステージデータ、ビルドデータウェアハウス、結果配備の3つのデータ転送ブリッジで接続する。
• 基本的なウェブサーバーログにとどまらない、意味的意味を持つ豊富なデータとメタデータを収集できるアプリケーションサーバー層のログ記録を強調する。
• 生の取引データやイベントデータ（例：クリックストリーム）を、構造化されメタデータが豊富なデータウェアハウス形式に変換するためのデータ変換ブリッジを導入する。
• OLAP、可視化、レポート、データマイニングアルゴリズムを統合した統合型マイニングワークベンチを採用し、多視点分析を可能にする。
• コンponents間で共有されるメタデータを活用して、データウェアハウス構築の自動化と分析・デプロイの整合性を確保する。
• 階層的データモデリングとスローリー・チェンジングディメンジョンをサポートし、進化する顧客および製品属性を処理できる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータマイニングをeコマースシステムに効果的に統合し、データ前処理に費やす時間を短縮できるか？
• RQ2 顧客インタラクションデータからリアルタイムで実行可能なインサイトを得るための、必要なアーキテクチャ的コンponentsとデータブリッジは何か？
• RQ3 アプリケーション層でどのようにして豊富なメタデータを収集し、データ品質の向上と意味的分析の支援を図れるか？
• RQ4 ボットトラフィック、ユーザーセッション、階層的製品構造を含むクリックストリームデータをモデリングする際の課題は何か？
• RQ5 マーケティングキャンペーンなどの外部イベントを考慮した場合、データマイニングアルゴリズムはどのようにしてスローリー・チェンジングディメンジョンに対応できるか？

主な発見

• 提案されたアーキテクチャにより、アプリケーションサーバー層にメタデータ収集と変換を統合することで、限定的なウェブサーバーログファイルへの依存を回避し、データ準備時間を短縮した。
• アプリケーションレベルのログ記録により、ユーザーセッションのコンテキスト、製品属性、ビジネスルールといった重要なメタデータが収集され、より正確で意味的意味のある分析が可能になった。
• 共有メタデータを通じてビジネスデータ定義、顧客インタラクション、分析コンponentsを統合することで、自動的かつ一貫性のあるデータウェアハウス構築が実現した。
• OLAP、可視化、レポート、データマイニングアルゴリズムを統合した統合ワークベンチを活用することで、高度な分析機能をサポートした。
• ボット検出、階層的製品モデリング、プロ motion キャンペーンやサイトリデザインなどの外部イベントの処理といった、主な課題に対応した。
• 本稿は、豊富で高品質なデータ、測定可能なROI、インサイトの直接的実行可能性があるため、eコマースがデータマイニングの「キラーデバイス」であると示した。