[論文レビュー] On Finding Minimal Infrequent Elements in Multi-dimensional Data Defined over Partially Ordered Sets

Khaled Elbassioni|arXiv (Cornell University)|Nov 9, 2014

Data Mining Algorithms and Applications参考文献 26被引用数 4

ひとこと要約

本稿では、部分的に順序付けられた集合（poset）上で定義された属性を有する多次元データベースにおいて、最小頻度の低い要素を効率的に発見するアルゴリズムを提案する。この手法により、定量的・カテゴリカル・区間ベースのデータにおける希少な関連性やスパース領域を特定できる。木分解と双対化技術をposet積の上に適用することで、証明可能な効率性を備えた最小頻度の低いアイテムセットの列挙が可能となり、複雑なデータ構造における希少パターンのマイニングにスケーラブルなソリューションを提供する。

ABSTRACT

We consider databases in which each attribute takes values from a partially ordered set (poset). This allows one to model a number of interesting scenarios arising in different applications, including quantitative databases, taxonomies, and databases in which each attribute is an interval representing the duration of a certain event occurring over time. A natural problem that arises in such circumstances is the following: given a database $\mathcal{D}$ and a threshold value $t$, find all collections of "generalizations" of attributes which are "supported" by less than $t$ transactions from $\mathcal{D}$. We call such collections infrequent elements. Due to monotonicity, we can reduce the output size by considering only \emph{minimal} infrequent elements. We study the complexity of finding all minimal infrequent elements for some interesting classes of posets. We show how this problem can be applied to mining association rules in different types of databases, and to finding "sparse regions" or "holes" in quantitative data or in databases recording the time intervals during which a re-occurring event appears over time. Our main focus will be on these applications rather than on the correctness or analysis of the given algorithms.

研究の動機と目的

• 部分的に順序付けられた集合（poset）上で定義された属性を有するデータベースにおける希少な関連性を特定する課題に対処すること。これには、定量的・カテゴリカル・区間値データが含まれる。
• 頻度の高い要素に焦点を当てるのではなく、最小頻度の低い要素に注目することで、関連ルールマイニングにおける重複を低減すること。
• 時間間隔や値の範囲が不十分に代表されているような、多次元データにおける「穴」やスパース領域を特定できること。
• posetベースのデータベースにおける属性値の一般化を通じて、一般化された関連性をマイニングするための包括的フレームワークを提供すること。
• データの複雑さとposet構造に応じてスケーリング可能な、最小頻度の低い要素の効率的列挙アルゴリズムを開発すること。

提案手法

• 各属性のドメインを有限な部分的に順序付けられた集合（poset）としてモデル化することで、階層的・区間的・定量的属性を統一的な枠組みで表現可能にする。
• 探索空間の分割と計算複雑度の低減を目的として、木構造のposet（MSTP）に基づく再帰的分解戦略を導入する。
• poset積における反鎖の双対性を検証するための双対化技術を用い、最小頻度の低い要素を正しく特定することを保証する。
• 相対頻度を用いてサポート閾値を計算する：ε^A = |A_≥(a_i)| / |A| および ε^B = |B_¬≥(a_i)| / |B| であり、再帰的分解の意思決定を導く。
• 閾値比較に基づき、posetを部分成分（Q_i', Q_i''）に動的に分割することで、並列処理とインクリメンタル処理を可能にする。
• トポロジカル順序付けと、縮小されたposet成分における再帰的部分問題の解法を適用することで、完全性を維持し、重複計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 属性が部分的に順序付けられた集合（poset）上で定義された多次元データベースにおいて、最小頻度の低い要素をどのように効率的に列挙できるか。
• RQ2 特に属性が区間または定量的範囲を表す場合に、posetベースのデータベースにおける希少関連性のマイニングの計算複雑度はどの程度か。
• RQ3 このフレームワークは、特定の値の組み合わせが希少にしか観測されないような、定量的データにおけるスパース領域や「穴」を検出できるか。
• RQ4 従来の二値化手法と比較して、poset一般化を用いることで、意味のある希少関連性の発見がどのように向上するか。
• RQ5 全探索を回避しながら、最小頻度の低い要素のスケーラブルな列挙を可能にするアルゴリズム的技術は何か。

主な発見

• 提案されたアルゴリズムは、木分解と双対化を活用することで、多次元posetデータベースにおける最小頻度の低い要素の列挙を効率的に行い、探索空間を顕著に削減する。
• サポート閾値ε^Aとε^Bに従う再帰的分解により、正しさが保証され、最小頻度の低い要素が見逃されることがない。
• 定量的データにおけるスパース領域、例えば使用パターンの組み合わせがめったに観測されない時間間隔データベースなど、その検出が可能になる。
• 属性値をposet階層上のより高次のカテゴリに抽象化できるため、一般化された関連ルールのサポートを実現する。
• 木のような構造を持つposetでは、特定の条件下で多項式遅延および空間計算量を達成でき、大規模なデータマイニングに適している。
• 既存の手法を包括する形で、カテゴリカル・定量的・階層的データモデルを1つのposetに基づく形式的枠組みに統合する。