[論文レビュー] Survey on Distributed Data Mining in P2P Networks

Rekha Sunny T, Sabu M. Thampi|arXiv (Cornell University)|May 15, 2012

Data Stream Mining Techniques参考文献 32被引用数 5

ひとこと要約

本サーベイは、データ量、帯域幅制限、プライバシー問題といった集中型データマイニングの限界を克服するため、ピアツーピア（P2P）ネットワークにおける分散型データマイニング（DDM）について包括的な概要を提示する。DDMアーキテクチャ、アプローチ、P2P特有の実装、スケーラビリティ、負荷分散、データの異種性といった主な課題を検討し、分散型データマイニングシステム分野の研究者にとって基盤的リファレンスを提供する。

ABSTRACT

The exponential increase of availability of digital data and the necessity to process it in business and scientific fields has literally forced upon us the need to analyze and mine useful knowledge from it. Traditionally data mining has used a data warehousing model of gathering all data into a central site, and then running an algorithm upon that data. Such a centralized approach is fundamentally inappropriate due to many reasons like huge amount of data, infeasibility to centralize data stored at multiple sites, bandwidth limitation and privacy concerns. To solve these problems, Distributed Data Mining (DDM) has emerged as a hot research area. Careful attention in the usage of distributed resources of data, computing, communication, and human factors in a near optimal fashion are paid by distributed data mining. DDM is gaining attention in peer-to-peer (P2P) systems which are emerging as a choice of solution for applications such as file sharing, collaborative movie and song scoring, electronic commerce, and surveillance using sensor networks. The main intension of this draft paper is to provide an overview of DDM and P2P Data Mining. The paper discusses the need for DDM, taxonomy of DDM architectures, various DDM approaches, DDM related works in P2P systems and issues and challenges in P2P data mining.

研究の動機と目的

• 多数のサイトに分散した大規模なデータセットを処理する集中型データマイニングの限界を是正すること。
• 現代のコンピューティング環境における分散型でスケーラブルかつプライバシーを守るデータマイニングソリューションの必要性を特定すること。
• P2Pネットワークに特化したリソース効率性とフォールトトレランスに重点を置いた、既存のDDMアーキテクチャとアプローチを調査すること。
• P2Pベースのデータマイニングにおけるデータの異種性、通信オーバーヘッド、負荷の不均衡といった課題を分析すること。
• 研究者および実務家向けに、P2Pシステムにおける最新のDDM技術の体系的分類と批判的レビューを提供すること。

提案手法

• データおよび計算の分散方法に基づき、DDMアーキテクチャを中央集権型、完全分散型、ハイブリッド型に分類すること。
• マイニング操作が実行される場所に基づき、DDMアプローチをデータ中心型、モデル中心型、ハイブリッド型に分類すること。
• 非構造的・準構造的・構造的なオーバーレイトポロジーを活用するP2P特有のデータマイニング技術をレビューすること。
• 帯域幅使用量と遅延を最小限に抑えるためにP2Pデータマイニングで用いられる通信および調整メカニズムを分析すること。
• P2P環境におけるデータ匿名化やセキュアなマルチパーティ計算といったプライバシー保護技術を評価すること。
• 既存のDDMソリューションをファイル共有、電子商取引、センサーネットワーク監視といった実世界の応用にマッピングすること。

実験結果

リサーチクエスチョン

• RQ1 P2Pネットワークにおける分散型アプローチの導入を必要とする集中型データマイニングの根本的限界とは何か？
• RQ2 スケーラビリティ、フォールトトレランス、P2Pシステムにおけるパフォーマンスの観点から、中央集権型、完全分散型、ハイブリッド型のDDMアーキテクチャはどのように比較されるか？
• RQ3 動的で分散型のP2Pネットワークにおいて、効率的かつプライバシーを守るデータマイニングアルゴリズムを設計するうえでの主な課題は何か？
• RQ4 既存のP2Pデータマイニングフレームワークは、データの異種性、負荷の不均衡、通信オーバーヘッドをどのように処理しているか？
• RQ5 データプライバシーとシステム効率を保ちながら、P2Pシステムにデータマイニングを統合するための最も有望なアーキテクチャ的およびアルゴリズム的戦略は何か？

主な発見

• 集中型データマイニングは、帯域幅、プライバシー、スケーラビリティの制約のため、大規模で分散型のデータセットに対しては現実的ではない。
• P2Pネットワークは、中央集権のリスクを低減しつつ、分散型のデータストレージと計算を可能にする実用的なインfraを提供する。
• ハイブリッドDDMアーキテクチャは、中央集権的管理と分散処理を組み合わせることで、パフォーマンスとフォールトトレランスのバランスの取れた妥当な妥協を実現する。
• 通信オーバーヘッドと負荷の不均衡は、動的かつ異種性の高いネットワークにおいても依然として大きな課題である。
• データ匿名化やセキュアな集計といったプライバシー保護技術は、分散型データマイニングワークフローにおける信頼を実現するために不可欠である。
• 既存のP2Pデータマイニングソリューションは、協調フィルタリング、センサーネットワーク監視、分散型電子商取引といった応用分野で有望であるが、リアルタイム性能を実現するためにはさらなる最適化が求められる。