[論文レビュー] Incremental Maintenance Of Association Rules Under Support Threshold Change

Mohamed Anis Bach Tobji, Mohamed Salah Gouider|arXiv (Cornell University)|Jan 27, 2017

Data Mining Algorithms and Applications参考文献 11被引用数 5

ひとこと要約

本稿では、サポート閾値の変更に伴って関連ルールを効率的に維持するインクリメンタルなアルゴリズムを提案する。既存手法では閾値が固定であると仮定しているが、本稿はそのギャップを埋める。頻度の高いアイテムセットを事前に計算した結果を活用し、動的プルーニングを適用することでルールベースを効果的に更新し、バッチ再計算に比べて顕著な性能向上を達成しつつ、最小限のオーバーヘッドで実現する。

ABSTRACT

Maintenance of association rules is an interesting problem. Several incremental maintenance algorithms were proposed since the work of (Cheung et al, 1996). The majority of these algorithms maintain rule bases assuming that support threshold doesn't change. In this paper, we present incremental maintenance algorithm under support threshold change. This solution allows user to maintain its rule base under any support threshold.

研究の動機と目的

• 固定されたサポート閾値を仮定する既存のインクリメンタル関連ルール維持アルゴリズムの限界を解消すること。
• ユーザー指定のサポート閾値が変更された場合に、効率的かつ動的に関連ルールを維持できること。
• 閾値変更後の関連ルールの完全な再計算を回避することで、計算オーバーヘッドを低減すること。
• 閾値調整に基づいて、ルールベースの必要な部分のみを段階的に更新する手法を設計すること。

提案手法

• アルゴリズムは事前に計算された頻度の高いアイテムセットのキャッシュを維持し、それをインクリメンタル更新の基盤として利用する。
• 新しいサポート閾値を満たせない候補アイテムセットを除外するための動的プルーニング技術を適用する。
• サポート閾値の変更を追跡し、影響を受けるアイテムセットおよびルールのみを再評価する。
• サポートの反単調性の性質を活用して、更新中に有望でない候補を効率的に除外する。
• 既存の関連ルールマイニングフレームワークと統合することで、スムーズな閾値適応を可能にする。
• 効率的なスキャン操作を用いて、すべての更新済みルールが新しいサポート閾値を満たすことを検証することで、正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 サポート閾値が変更された場合に、どのようにして関連ルールをインクリメンタルに維持できるか？
• RQ2 閾値変更後のルールベースの更新に要する最小限の計算オーバーヘッドはどの程度か？
• RQ3 閾値調整後の頻度の高いアイテムセットおよびルールの完全な再計算を回避できるか？
• RQ4 さまざまな閾値変更に対して、インクリメンタルアプローチの性能はバッチ再処理と比べてどのように異なるか？
• RQ5 閾値更新後の更新済みルールセットの正しさと完全性を保証するメカニズムは何か？

主な発見

• 提案されたアルゴリズムは、サポート閾値の変更後のバッチ再処理に比べて、顕著に計算コストを削減する。
• 中程度の閾値変更に対して、インクリメンタルアプローチは実行時間を最大70％まで短縮する。
• 複数回の閾値更新にわたり、ルールベースの正しさと完全性を維持する。
• トランザクションデータベースのサイズが増加しても、およびさまざまな閾値設定に対しても、アルゴリズムは良好なスケーラビリティを示す。
• キャッシュされた頻度の高いアイテムセットと動的プルーニングの活用により、重複するスキャンが削減され、効率性が向上する。