[論文レビュー] Mining Association Rules in Various Computing Environments: A Survey

Sudhakar Singh, Pankaj Singh+2 more|arXiv (Cornell University)|Jun 30, 2019

Data Mining Algorithms and Applications参考文献 68被引用数 5

ひとこと要約

本調査は、逐次処理、並列／分散、グリッド、クラウドコンピューティングの4つのコンピューティング環境における関連ルールマイニング（ARM）アルゴリズムを体系的にレビューし、効率性とスケーラビリティにおける段階的な改善を強調している。伝統的な逐次的手法から、現代の並列およびクラウドベースの実装へと進化するARM技術の流れをたどり、データ量と計算要件の増大に伴うパフォーマンス向上とアーキテクチャの適応を強調している。

ABSTRACT

Association Rule Mining (ARM) is one of the well know and most researched technique of data mining. There are so many ARM algorithms have been designed that their counting is a large number. In this paper we have surveyed the various ARM algorithms in four computing environments. The considered computing environments are sequential computing, parallel and distributed computing, grid computing and cloud computing. With the emergence of new computing paradigm, ARM algorithms have been designed by many researchers to improve the efficiency by utilizing the new paradigm. This paper represents the journey of ARM algorithms started from sequential algorithms, and through parallel and distributed, and grid based algorithms to the current state-of-the-art, along with the motives for adopting new machinery.

研究の動機と目的

• 多様なコンピューティング環境における関連ルールマイニング（ARM）アルゴリズムの包括的レビューを提供すること。
• 逐次処理からクラウドベースのコンピューティングパラダイムへと至るARM技術の進化を分析すること。
• ARMに新しいコンピューティングアーキテクチャを採用する動機、たとえばスケーラビリティやパフォーマンス向上を特定すること。
• 異なる分散および並列環境におけるARMアルゴリズムの効率性と適用可能性を比較すること。
• 現代の大規模データ処理システムにおけるARMの導入における現在のトレンドと課題を強調すること。

提案手法

• 逐次、並列／分散、グリッド、クラウドコンピューティングの計算環境に基づいて、既存のARMアルゴリズムを調査・分類すること。
• 各環境におけるARMアルゴリズムの設計原則とパフォーマンス特性を分析すること。
• 分散およびクラウドベースのARMシステムにおけるパーティショニング、負荷分散、フォールトトレランスなどのアルゴリズム最適化を評価すること。
• 単一マシンからスケーラブルで、フォールトトレラントで、エラスティックなコンピューティングインfra構造への移行をマッピングすること。
• 並列および分散ARM実装に用いられる主要なアーキテクチャパターンと通信モデルを同定すること。
• ハードウェアおよびソフトウェアの進歩がARMアルゴリズムの開発と展開にどのように影響したかを統合的に解明すること。

実験結果

リサーチクエスチョン

• RQ1 関連ルールマイニングアルゴリズムは、どのように逐次処理からクラウドベースのコンピューティング環境へと進化してきたか？
• RQ2 伝統的な逐次ARMにおける主なパフォーマンスボトルネックは何か？ そして、現代の並列および分散モデルはそれらをどのように解決しているか？
• RQ3 グリッドおよびクラウドコンピューティング環境における効率的でスケーラブルなARMを可能にするアーキテクチャ的特徴は何か？
• RQ4 負荷分散、フォールトトレランス、データパーティショニングは、分散ARMアルゴリズムの効率性にどのように影響するか？
• RQ5 異なるコンピューティングプラットフォームにおける複雑さ、スケーラビリティ、正確性のトレードオフは何か？

主な発見

• ARMアルゴリズムは、ビッグデータワークロードを処理するため、逐次処理から高度にスケーラブルで、分散的かつクラウドネイティブな実装へと顕著に進化している。
• 並列および分散コンピューティングモデルは、複数のプロセッサやクラスタを活用することで、実行時間の短縮とスケーラビリティの向上を実現している。
• グリッドおよびクラウドベースのARMフレームワークは、動的リソース割り当てとフォールトトレランスを可能にし、信頼性とパフォーマンスを向上させている。
• ARMをクラウドプラットフォームと統合することで、エラスティックスケーリングと大規模トランザクションデータベースのコスト効率の良い処理が可能になっている。
• 現代のARMシステムにおけるパフォーマンス向上は、主に効率的なデータパーティショニング、負荷分散、最適化された通信プロトコルに起因している。
• 進歩にもかかわらず、分散およびクラウド環境における高い正確性の維持とI/Oオーバーヘッドの最小化という課題は依然として残っている。