[論文レビュー] Mining The Data From Distributed Database Using An Improved Mining Algorithm

J. Arokia Renjit, K. L. Shunmuganathan|arXiv (Cornell University)|Apr 10, 2010

Data Mining Algorithms and Applications参考文献 6被引用数 11

ひとこと要約

本稿では、通信コストを低減し、地理的に分散したデータベースにおける効率を向上させるために、LMatrix技術を用いた改善された分散関連ルールマイニングアルゴリズムを提案する。LMatrixを用いて局所的なサポートカウントを計算し、データベーススキャンを最小限に抑えることで、分散環境における逐次的手法よりも高速な実行と優れたスケーラビリティを達成する。

ABSTRACT

Association rule mining is an active data mining research area and most ARM algorithms cater to a centralized environment. Centralized data mining to discover useful patterns in distributed databases isn't always feasible because merging data sets from different sites incurs huge network communication costs. In this paper, an Improved algorithm based on good performance level for data mining is being proposed. In local sites, it runs the application based on the improved LMatrix algorithm, which is used to calculate local support counts. Local Site also finds a centre site to manage every message exchanged to obtain all globally frequent item sets. It also reduces the time of scan of partition database by using LMatrix which increases the performance of the algorithm. Therefore, the research is to develop a distributed algorithm for geographically distributed data sets that reduces communication costs, superior running efficiency, and stronger scalability than direct application of a sequential algorithm in distributed databases.

研究の動機と目的

• 中央集権的な関連ルールマイニングにおいて、分散されたサイトからのデータを統合する際に生じる高い通信オーバーヘッドに対処すること。
• ネットワークコストとスケーラビリティの問題により、従来の逐次的手法が分散データベースで制限を受けるのを克服すること。
• データベーススキャン回数と通信ラウンド数を削減する、スケーラブルで効率的な分散マイニングアルゴリズムを開発すること。
• 各サイトでのLMatrix技術を用いた局所的サポートカウントの活用により、性能を向上させること。
• 最適化されたメッセージ伝達を用いた中央集権的調整サイトを通じて、グローバルな頻度の高いアイテムセットの発見を可能にすること。

提案手法

• 各ローカルサイトに改善されたLMatrixアルゴリズムを適用し、局所的なサポートカウントを効率的に計算する。
• 指定されたセンター・サイトを用いてメッセージ交換を調整し、局所的な結果を集約してグローバルな頻度の高いアイテムセットを計算する。
• 局所的なデータ処理に最適化されたLMatrix構造を活用することで、データベーススキャン回数を最小限に抑える。
• 必要な情報（例：局所的な頻度の高いアイテムセット）のみをサイト間で送信することで、通信コストを削減する。
• ローカルサイトとセンター・サイト間のメッセージ伝達メカニズムを統合し、結果の同期とグローバルパターンの構築を実現する。
• 増加するデータ量と分散サイト数に応じて良好にスケーリングできるようにアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 地理的に分散したデータベースにおける分散関連ルールマイニングで、通信コストをどのように最小限に抑えることができるか？
• RQ2 従来の手法と比較して、LMatrixベースの局所的サポートカウント計算が性能にどの程度向上効果をもたらすか？
• RQ3 分散環境において、逐次的手法よりも優れたスケーラビリティと効率性を達成できるか？
• RQ4 データベーススキャン回数の削減が、分散マイニングの全体的な実行時間に与える影響は何か？
• RQ5 センター・サイトを介した調整メカニズムは、データ転送を最小限に抑えつつ、正確性を維持するのにどの程度効果的か？

主な発見

• 提案されたアルゴリズムは、局所的サポートカウントにLMatrix構造を活用することで、データベーススキャン回数を顕著に削減する。
• 必要な情報のみを送信する選択的メッセージ伝達により、通信コストが最小限に抑えられる。
• 分散環境において、逐次的マイニングアルゴリズムを直接適用した場合と比較して、優れた実行効率を示す。
• 完全なデータ転送への依存度が低下し、ローカルサイトとセンター・サイト間の最適化された調整により、スケーラビリティが向上する。
• LMatrixの使用により、局所処理速度が向上し、グローバルな頻度の高いアイテムセットの発見における収束速度が速くなる。
• 分散データソース上で効率的に動作しながらも、パターン発見の高精度を維持する。