[論文レビュー] Interactive Constrained Association Rule Mining

Bart Goethals, Jan Van den Bussche|ArXiv.org|Dec 10, 2001

Data Mining Algorithms and Applications参考文献 22被引用数 5

ひとこと要約

本稿では、インタラクティブな制約付き連関ルールマイニングにおけるインクリメンタルクエリ処理アプローチを提案する。この手法は、クエリ間で事前に生成されたアイテムセットを再利用することで、冗長な計算を顕著に削減する。クエリ制約をマイニングプロセスに直接統合し、結果をキャッシュすることで、特にクエリが特定的である場合や、アイテムセットの数が多すぎて制約なしでのマイニングが非現実的になる場合に、純粋な統合クエリ処理よりも優れたパフォーマンスを達成する。

ABSTRACT

We investigate ways to support interactive mining sessions, in the setting of association rule mining. In such sessions, users specify conditions (queries) on the associations to be generated. Our approach is a combination of the integration of querying conditions inside the mining phase, and the incremental querying of already generated associations. We present several concrete algorithms and compare their performance.

研究の動機と目的

• インタラクティブなデータマイニングセッションにおいて、ユーザーの各クエリに対して繰り返しフルマイニングプロセスを再実行する非効率性を解消すること。
• 特に制約付きマイニングの文脈において、ユーザーが指定した制約を満たさないアイテムセットの冗長な生成を低減すること。
• 1回のマイニングセッション内で複数のクエリにわたって、事前に計算された結果を効率的に再利用できることを実現すること。
• アイテムセット生成とデータベーススキャンといったパフォーマンス指標を用いて、統合クエリ、後処理、インクリメンタルクエリの3つのアプローチを比較・評価すること。
• 制約なしでのフルマイニングが計算的に非現実的である状況においても、実用的でスケーラブルなソリューションを提供すること。

提案手法

• ユーザーが指定するブール制約（アイテムのルールヘッド/ボディ内での存在、サポート、信頼度）を、頻出アイテムセットマイニングプロセスに直接統合する。
• 事前に生成されたアイテムセットをキャッシュして、クエリ間で再利用することで、冗長な計算を回避するメカニズムを採用する。
• 以前に満たされたクエリの論理的表現（DNF形式）を用いて、論理的否定により、新たに未生成のアイテムセットの集合を効率的に計算する。
• キャッシュされたクエリから、最も制限が緩い論理和項（disjuncts）のみを選択することで、複雑なクエリ式の成長を制限するヒューリスティクスを適用する。
• マイニング中の制約に基づくプルーニングと、インクリメンタルな結果再利用を組み合わせることで、データベーススキャンと候補アイテムセット生成の両方を最小限に抑える。
• ハイブリッド戦略を採用：初期段階では制約を考慮したマイニングが可能な統合クエリ処理を用い、パフォーランス上の利点が得られた段階で、インクリメンタル再利用に切り替える。

実験結果

リサーチクエスチョン

• RQ1 複数のクエリにわたって、事前に計算された結果を再利用することで、インタラクティブなマイニングセッションの効率を向上させられるか？
• RQ2 アイテムセット生成とデータベーススキャンの観点から、インクリメンタルクエリ処理は統合クエリ処理や後処理アプローチに比べてどのように性能を発揮するか？
• RQ3 マイニング段階でクエリ制約を活用することで、特にクエリが特定的になる際、最適なパフォーマンスが得られるか？
• RQ4 後処理アプローチが統合クエリ処理を上回る条件は何か？また、どのような状況でインクリメンタルクエリ処理が最良の選択となるか？
• RQ5 制約なしでのフルマイニングがアイテムセット数が多すぎて非現実的になる状況でも、インクリメンタルアプローチは対応可能か？

主な発見

• インクリメンタルクエリ処理アプローチは、事前に生成されたアイテムセットを再利用することで、純粋な統合クエリ処理を常に上回り、クエリ間での冗長計算を削減する。
• クエリ実行中の生成アイテムセット数は、クエリの制限の強さに比例しており、より特定度の高いクエリほど実行が速くなる。
• データベーススキャンと実効的なデータベースサイズは、クエリ制約の強度に比例して減少し、スケーラビリティが向上する。
• テストしたすべてのデータセットにおいて、インクリメンタルアプローチは20番目のクエリ以降に統合クエリ処理を上回り始めるが、マッシュルームデータセットでは5番目のクエリでブレーキーポイントに達する。
• 制約なしでのマイニングが可能であれば、後処理アプローチが最適であるが、頻出アイテムセット数が多すぎると非現実的になる。
• 低サポート閾値でも、タスクを制約付きクエリに分割することで、Eclat や FP-growth などのアルゴリズムの基盤となる有効なマイニングが可能になる。