[論文レビュー] A Parallel/Distributed Algorithmic Framework for Mining All Quantitative Association Rules

Ioannis T. Christou, Emmanouil Amolochitis+1 more|arXiv (Cornell University)|Apr 18, 2018

Data Mining Algorithms and Applications参考文献 20被引用数 12

ひとこと要約

本稿では、大規模な多次元データセットにおけるすべての定量的関連ルールを抽出するための並列／分散アルゴリズム、QARMA を紹介する。この手法は、最小サポートおよび興味深さの閾値（例：信頼度、確信度）を満たす非支配ルールを効率的に生成し、MovieLens などの大規模な合成データおよび実世界のデータセットに対し、コンmodity ハードウェア上で数分未満の実行時間を達成する。

ABSTRACT

We present QARMA, an efficient novel parallel algorithm for mining all Quantitative Association Rules in large multidimensional datasets where items are required to have at least a single common attribute to be specified in the rules single consequent item. Given a minimum support level and a set of threshold criteria of interestingness measures such as confidence, conviction etc. our algorithm guarantees the generation of all non-dominated Quantitative Association Rules that meet the minimum support and interestingness requirements. Such rules can be of great importance to marketing departments seeking to optimize targeted campaigns, or general market segmentation. They can also be of value in medical applications, financial as well as predictive maintenance domains. We provide computational results showing the scalability of our algorithm, and its capability to produce all rules to be found in large scale synthetic and real world datasets such as Movie Lens, within a few seconds or minutes of computational time on commodity hardware.

研究の動機と目的

• 大規模かつ多次元のデータセットにおけるすべての定量的関連ルールを抽出する計算上の課題に対処すること。
• ユーザーが定義した最小サポートおよび興味深さの閾値を満たす非支配ルールの効率的発見を可能にすること。
• マーケティング、医療、ファイナンス、予測保全などの実用的応用分野において、行動可能なルールベースのインサイトを提供すること。
• ルール生成の完全性を保証すること—有効なルールが1つも見逃されないことを保証しながら、高いパフォーマンスを維持すること。
• 大規模データワークロードを処理できるように、コンmodity ハードウェア上で効果的にスケーリングできる分散アーキテクチャを採用すること。

提案手法

• 複数の処理ユニットに検索空間を分割することで、ルール抽出を高速化する並列／分散アルゴリズムフレームワークを設計する。
• 最小サポートおよび興味深さの測定値（例：信頼度、確信度）に基づく、独創的な pruning 戦略を適用し、支配されるルールを早期に除外する。
• アイテムが連続的または離散的属性と関連付けられる多次元データモデルを活用し、定量的ルールの生成を可能にする。
• データと計算をノード間で分散する divide-and-conquer アプローチを採用し、通信オーバーヘッドを最小限に抑える。
• 候補となる各ルールが、ユーザーが指定した興味深さの閾値を満たすかをチェックするルール評価エンジンを統合する。
• すべての可能なルールの組み合わせを体系的に探索することで正しさと完全性を保証し、重複計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 並列／分散フレームワークは、大規模データセットにおけるすべての定量的関連ルールの完全かつ効率的な抽出を達成できるか？
• RQ2 提案されたアルゴリズムは、異なるデータサイズおよび次元数において、実行時間およびリソース使用率の観点でどのようにスケーリングするか？
• RQ3 サポートおよび興味深さの測定値に基づく pruning 戦略を適用しても、完全性がどの程度維持されるか？
• RQ4 実世界および合成データセットにおいて、従来のシーケンシャルまたは非分散アプローチと比較して、このアルゴリズムのパフォーマンスはどのように異なるか？
• RQ5 コンmodity ハードウェア上で、実用的な時間制限内に行動可能な非支配ルールをフレームワークが提供できるか？

主な発見

• QARMA は、コンmodity ハードウェア上で MovieLens データセットからすべての非支配定量的関連ルールを1分未塔で抽出した。
• アルゴリズムは強力なスケーラビリティを示し、データ量が増加してもパフォーマンス劣化が最小限に抑えられた大規模な合成データセットを処理できた。
• さまざまなデータ構成において、実行時間が数秒から数分の範囲に収まり、高い効率性を示した。
• サポートおよび興味深さの閾値に基づく積極的な pruning を適用しても、完全性が保証された—有効なルールが1つも見逃されなかった。
• 並列アーキテクチャにより、シーケンシャル実装と比較して顕著な高速化が達成された、特に高次元データにおいて顕著だった。
• 実世界および合成データセットの両方において、このアプローチは一貫したパフォーマンスとルール品質を維持し、ロバストであることが実証された。