[論文レビュー] An Algorithm for Mining High Utility Closed Itemsets and Generators

Jayakrushna Sahoo, Ashok Kumar Das+1 more|arXiv (Cornell University)|Oct 11, 2014

Data Mining Algorithms and Applications参考文献 42被引用数 3

ひとこと要約

本稿では、高効用閉じたアイテムセット（HUCI）とその最小生成子を同時に抽出する新規アルゴリズム、HUCI-Minerを提案する。これにより、高効用アイテムセットマイニングにおける要約的で重複のない関連ルール生成が可能になる。従来のサポート・コンfidエンスマイニングにおける最小生成子の概念を、効用ベースのマイニングへ拡張することで、ルールの意味的整合性を保ちながら高効用アイテムセットの大幅な圧縮を実現する。

ABSTRACT

Traditional association rule mining based on the support-confidence framework provides the objective measure of the rules that are of interest to users. However, it does not reflect the utility of the rules. To extract non-redundant association rules in support-confidence framework frequent closed itemsets and their generators play an important role. To extract non-redundant association rules among high utility itemsets, high utility closed itemsets (HUCI) and their generators should be extracted in order to apply traditional support-confidence framework. However, no efficient method exists at present for mining HUCIs with their generators. This paper addresses this issue. A post-processing algorithm, called the HUCI-Miner, is proposed to mine HUCIs with their generators. The proposed algorithm is implemented using both synthetic and real datasets.

研究の動機と目的

• 高効用閉じたアイテムセット（HUCI）とその生成子を効率的にマイニングする手法の不足に対処すること。
• 最小生成子の概念を統合することで、高効用アイテムセットマイニングにおける要約的で重複のない関連ルールマイニングを可能にすること。
• 高効用アイテムセットおよび関連するルールセットのサイズを、意味的・統計的妥当性を保ちながら縮小すること。
• 従来のサポート・コンフィデンスルール生成を高効用パターン上でサポートする後処理フレームワークを提供すること。
• HUCI-Minerの有効性を、多様な利用効用閾値を有する合成および実世界データセット上で実証すること。

提案手法

• 高効用アイテムセット（HUI）、高効用閉じたアイテムセット（HUCI）、およびその最小生成子（HG）を1回の走査で同時にマイニングするレベルワイズ探索アルゴリズム、HUCI-Minerを提案。
• ユーティリティユニット配列を用いて、HUCIからすべてのHUIを再構成可能にし、データベースのフルスキャンを回避した効率的なルール生成を実現。
• 高効用マイニングにおける最小生成子の概念を導入。ここで生成子とは、閉じたアイテムセットを一意に生成する最小のアイテムセットを指す。
• アイテムセットがその上位集合と同一のユーティリティを持つかどうかをチェックすることで、HUCIを同定するクロージャーに基づくアプローチを適用。
• 部分集合のユーティリティ比較による最小性の検証を通じて、HUCIから生成子を抽出する後処理ステップを実装。
• 高効用アイテムセットのメインメモリ上での保存を採用し、処理速度の向上とパフォーマンスの向上を実現。

実験結果

リサーチクエスチョン

• RQ1 1つのアルゴリズムフレームワーク内で、高効用閉じたアイテムセット（HUCI）とその最小生成子をどのように効率的にマイニングできるか。
• RQ2 HUCI-Minerは、全列挙と比較して、高効用アイテムセットの数をどの程度圧縮できるか。
• RQ3 最小生成子を高効用マイニングに統合することで、抽出された関連ルールの冗長性を効果的に低減できるか。
• RQ4 多様な実データおよび合成データセット、および変動する利用効用閾値に対して、HUCI-Minerのスケーラビリティはどの程度か。
• RQ5 異なる最小利用効用閾値が、発見されたHUCIおよび生成子の数に与える影響は何か。

主な発見

• HUCI-Minerは、HUCIとその生成子に圧縮することで、高効用アイテムセットの数を最大80％まで削減した。
• T10I4D100Kデータセットでは、0.006％のmin_util条件下で、HUIの数を192,673から111,544のHUCIと28,837の生成子に圧縮し、合計で140,381の圧縮パターンを達成。
• 密度の高いチェスデータセットでは、25％のmin_util条件下で、HUIの数を13,331から8,700のHUCIと3,811の生成子に圧縮し、34.5％の削減を達成。
• リテールデータセットでは、すべてのHUIが閉じていた（100％のクロージャ率）、0.02％のmin_util条件下で生成子はたった2つしか発見されず、高い圧縮効率を示した。
• チェーンストアデータセットでは、全閾値で100％のクロージャ率を示し、非自己生成子は一切検出されなかった。これは、すべてのHUCIが最大であることを示している。
• HUCIとHGの数が最小利用効用閾値の増加に伴い予測可能に増加するなど、HUCI-Minerは大規模データセット（110万件の取引を有するチェーンストア）に対してもスケーラブルであることが示された。