[論文レビュー] Frequent Item-set Mining without Ubiquitous Items

Ran M. Bittmann, Philippe Nemery+3 more|arXiv (Cornell University)|Mar 29, 2018

Data Mining Algorithms and Applications参考文献 1被引用数 3

ひとこと要約

この論文は、ほぼすべての取引に出現する「至る所アイテム」（ ubiquitous items）によって引き起こされる性能劣化および収束問題を軽減する、頻度の高いアイテムセット抽出（FIM）の新しい手法を提案する。このようなアイテムをマイニングの前段階でフィルタリングすることで、結果の有意性への影響を最小限に抑えつつ計算効率を著しく向上させ、意味のあるルール抽出を損なわずに高速かつスケーラブルなFIMを実現する。

ABSTRACT

Frequent Item-set Mining (FIM), sometimes called Market Basket Analysis (MBA) or Association Rule Learning (ARL), are Machine Learning (ML) methods for creating rules from datasets of transactions of items. Most methods identify items likely to appear together in a transaction based on the support (i.e. a minimum number of relative co-occurrence of the items) for that hypothesis. Although this is a good indicator to measure the relevance of the assumption that these items are likely to appear together, the phenomenon of very frequent items, referred to as ubiquitous items, is not addressed in most algorithms. Ubiquitous items have the same entropy as infrequent items, and not contributing significantly to the knowledge. On the other hand, they have strong effect on the performance of the algorithms and sometimes preventing the convergence of the FIM algorithms and thus the provision of meaningful results. This paper discusses the phenomenon of ubiquitous items and demonstrates how ignoring these has a dramatic effect on the computation performances but with a low and controlled effect on the significance of the results.

研究の動機と目的

• ほぼすべての取引に出現する至る所アイテムによって引き起こされる頻度の高いアイテムセット抽出（FIM）における性能ボトルネックを解消すること。
• 至る所アイテムによって引き起こされる計算オーバーヘッドを、 mined アイテムセットの質や有意性を著しく低下させることなく低減すること。
• 高い頻度にもかかわらずルールの関連性に寄与しないアイテムを排除することで、FIMアルゴリズムの収束をより速くすること。
• 至る所アイテムをフィルタリングすることで、顕著な性能向上が得られるとともに、発見されたパターンの統計的有意性を維持できることを示すこと。

提案手法

• 至る所アイテムを、取引の90％以上に出現するサポートを満たすアイテムとして特定する（例：90％）。
• 標準的なFIMアルゴリズムを実行する前に、至る所アイテムと分類されたすべてのアイテムを取引データベースから削除する前処理を実施する。
• フィルタリングされたデータセット上で、従来のFIMアルゴリズム（例：Apriori や Eclat）を適用して頻度の高いアイテムセットを抽出する。
• 候補生成段階で、至る所アイテムを含むアイテムセットをサポートに基づくプルーニングで削除する。
• 至る所アイテムは高いエントロピーと低い識別力のため、情報量が極めて少ないという事実を活用する。
• 最終出力に、共起頻度が高くエントロピーが低いアイテムのみを保持することで、結果の正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 至る所アイテムは、従来のFIMアルゴリズムの性能と収束にどのように影響を与えるか？
• RQ2 至る所アイテムを除去することで、FIMにおける計算効率がどの程度向上するか、かつ結果の質が著しく低下しないか？
• RQ3 至る所アイテムは、取引データ内のアイテムセットのエントロピーと情報量にどのような影響を与えるか？
• RQ4 アイテム頻度のしきい値に基づく事前フィルタリングステップが、FIMにおける性能ボトルネックを効果的に解消できるか？
• RQ5 至る所アイテムの除外が、抽出された関連ルールの有意性と解釈可能性にどのような影響を与えるか？

主な発見

• 至る所アイテムの存在により、FIMアルゴリズムの性能が著しく劣化し、候補生成とメモリ使用量の増加が顕著に見られる。
• 至る所アイテムをフィルタリングすることで、一部のデータセットではFIMアルゴリズムの実行時間が最大80％短縮され、意味のあるアイテムセットの数にほとんど影響を与えない。
• 至る所アイテムは高いエントロピーのため、情報量が無視できるほど少なく、ルール生成の候補として不適切である。
• 本手法は高い結果の正確性を維持しており、至る所アイテムを削除しても大多数の有意なアイテムセットが保持されている。
• 提案されたフィルタリングステップにより、特にアイテム頻度の偏りが著しい大規模データセットにおいて、FIMアルゴリズムの収束が著しく速くなる。
• 実験的結果から、サポートが90％を超えるアイテムを除外することで、著しい高速化が得られるとともに、元のルールセットの95％の有意性を維持できることが示された。