[論文レビュー] A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules

Bay Vo, Bac Le|arXiv (Cornell University)|Aug 26, 2011

Data Mining Algorithms and Applications参考文献 27被引用数 4

ひとこと要約

本稿では、頻度付き閉じたアイテムセット（FCI）を用いたラティスベースの手法を提案し、最小非冗長関連ルール（MNAR）を効率的に抽出する。CHARM-Lアルゴリズムを用いて頻度付き閉じたアイテムセットラティス（FCIL）を構築することで、従来の頻度付きアイテムセットラティスベースの手法と比較して、ルール生成の計算時間を顕著に短縮する。実験結果により、著しい高速化が確認された。

ABSTRACT

There are many algorithms developed for improvement the time of mining frequent itemsets (FI) or frequent closed itemsets (FCI). However, the algorithms which deal with the time of generating association rules were not put in deep research. In reality, in case of a database containing many FI/FCI (from ten thousands up to millions), the time of generating association rules is much larger than that of mining FI/FCI. Therefore, this paper presents an application of frequent closed itemsets lattice (FCIL) for mining minimal non-redundant association rules (MNAR) to reduce a lot of time for generating rules. Firstly, we use CHARM-L for building FCIL. After that, based on FCIL, an algorithm for fast generating MNAR will be proposed. Experimental results show that the proposed algorithm is much faster than frequent itemsets lattice-based algorithm in the mining time.

研究の動機と目的

• 関連ルール生成における性能ボトルネックを解消すること。これは、頻度付きアイテムセット（FI）や頻度付き閉じたアイテムセット（FCI）の抽出に要する時間よりも長くなることが一般的である。
• 最小非冗長ルール（MNAR）に注目することで、関連ルールの冗長性を低減し、より意味的で解釈が容易なルールを得ること。
• FCILの構造的性質を活用して、MNARを高速に生成するラティスベースのアルゴリズムを開発すること。
• 数十万から数百万の頻度付き閉じたアイテムセットを含む大規模データベースにおいても、スケーラビリティと効率性を向上させること。

提案手法

• CHARM-Lアルゴリズムを用いて、すべての頻度付き閉じたアイテムセットとその包含関係を表現する頻度付き閉じたアイテムセットラティス（FCIL）を構築する。
• ラティス構造を活用して、重複した導出を避ける形で体系的に関連ルールを探索・生成する。
• ラティスに基づく剪断戦略を適用し、より強い・より具体的なルールによって意味づけられるルールを除くことで、冗長なルールを削除する。
• FCILの階層的およびクロージャーに基づく性質を活用して、全ルールの列挙を避け、計算コストを低減する。
• ルールのサポートと信頼度の閾値に応じて、トップダウンまたはボトムアップの順序でFCILを走査するルール生成アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 大規模な頻度付き閉じたアイテムセットの集合を扱う際、関連ルール生成の時間計算量をどのように低減できるか。
• RQ2 頻度付き閉じたアイテムセットラティス（FCIL）のどのような構造的性質を活用すれば、冗長な関連ルールを効果的に排除できるか。
• RQ3 FCILを用いたラティスベースのアプローチは、従来の頻度付きアイテムセットラティスベースの手法よりも、最小非冗長ルールの生成速度で優れていると言えるか。
• RQ4 FCILの使用は、大規模データベースからの最小非冗長関連ルール抽出において、スケーラビリティをどの程度向上させるか。

主な発見

• 提案された最小非冗長関連ルール（MNAR）抽出のラティスベース手法は、従来の頻度付きアイテムセットラティスベースの手法と比較して、ルール生成時間を顕著に短縮している。
• FCIL構造の活用により、効率的な走査と剪断が可能となり、ルールの完全性を損なわず、冗長なルールの削除が実現された。
• 実験結果から、提案アルゴリズムは特に頻度付き閉じたアイテムセットの数が多いデータセットにおいて、著しい高速化を達成していることが示された。
• 本手法は大規模データベースに対しても効果的にスケーリングでき、数十万から数百万の頻度付き閉じたアイテムセットを含むデータセットを効率的に処理できる。