[論文レビュー] On the Complexity of Mining Itemsets from the Crowd Using Taxonomies

Antoine Amarilli, Yael Amsterdamer+1 more|arXiv (Cornell University)|Dec 11, 2013

Data Mining Algorithms and Applications参考文献 38被引用数 13

ひとこと要約

この論文は、分類体系を用いて人間の知識から頻度の高いアイテムセットをマイニングする際の複雑さを研究する。分類体系をガイドとして用いることで、クラウドの複雑さ（クラウドへの照会回数）と計算の複雑さ（照会を選択するための作業量）の両方を測定する理論的枠組みを導入し、タイトな境界と、分類体系の構造を活用して照会のオーバーヘッドを低減する効率的なアルゴリズムを提供する。

ABSTRACT

We study the problem of frequent itemset mining in domains where data is not recorded in a conventional database but only exists in human knowledge. We provide examples of such scenarios, and present a crowdsourcing model for them. The model uses the crowd as an oracle to find out whether an itemset is frequent or not, and relies on a known taxonomy of the item domain to guide the search for frequent itemsets. In the spirit of data mining with oracles, we analyze the complexity of this problem in terms of (i) crowd complexity, that measures the number of crowd questions required to identify the frequent itemsets; and (ii) computational complexity, that measures the computational effort required to choose the questions. We provide lower and upper complexity bounds in terms of the size and structure of the input taxonomy, as well as the size of a concise description of the output itemsets. We also provide constructive algorithms that achieve the upper bounds, and consider more efficient variants for practical situations.

研究の動機と目的

• 構造化されたデータベースが存在しない人間の記憶に由来するデータからの頻度の高いアイテムセットマイニング問題を形式化すること。
• アイテムセットの頻度に関する照会に応答するクラウドをオракルとしてモデル化し、その照会回数を最小限に抑えること。
• クラウドの複雑さ（照会回数）と計算の複雑さ（照会の選択に要する作業量）のトレードオフを分析すること。
• 意味的分類体系（例：「は」階層）を活用して、類似するアイテムセット間での頻度の伝搬を活用し、重複する照会を削減すること。
• 分類体系下でのすべての頻度の高いアイテムセットを特定する際の複雑さに対するタイトな理論的境界を確立し、それら境界に到達する構成的アルゴリズムを提供すること。

提案手法

• アイテムドメインを分類体系（部分的「は」階層）でモデル化し、アイテム間の意味的関係を表現すること。
• アイテムセットに頻度述語を定義し、アイテムセットが頻度が高い場合、その分類体系におけるスーパー・セットに対しても頻度が高い（継承による）という性質を活用すること。
• 最小頻度のアイテムセット（MFIs）と最大非頻度のアイテムセット（MIIs）を、照会回数の境界を導くための核心的構造的要素として用いること。
• 過去の回答に基づいて動的に照会を選択するインタラクティブで適応的なアルゴリズムを設計し、クラウドとの対話回数を削減すること。
• 超グラフ走査と双対性に基づく技術を用いて複雑さを分析し、特にEQ問題（極値集合の列挙）と関連づけること。
• 分類体系の構造を活用する構成的アルゴリズムを提供し、クラウドの複雑さの上界に到達する。実用的導入のための最適化も施す。

実験結果

リサーチクエスチョン

• RQ1 分類体系を探索のガイドとして用いる場合、すべての頻度の高いアイテムセットを特定するために必要なクラウド照会の最小回数はどれほどか？
• RQ2 分類体系の構造（例：深さ、分岐係数）は、マイニングにおけるクラウド複雑さと計算複雑さにどのように影響するか？
• RQ3 分類体系内の意味的関係を活用することで、最適または近似的に最適な照問複雑さを達成できるか？
• RQ4 照問回数と照問を選択するために要する計算作業量のトレードオフはいかなるものか？
• RQ5 アイテムセットのサイズ制限や特定の分類体系断片に焦点を当てるなどの制約を課した場合、複雑さの境界はどのように変化するか？

主な発見

• クラウドの複雑さは、|S(Ψ)| が分類体系によって誘導されるすべての可能なアイテムセットの集合のサイズであるとして、Ω(log |S(Ψ)|) で下限づけられる。
• クラウドの複雑さは、|MFI| と |MII| が最小頻度のアイテムセットと最大非頻度のアイテムセットの集合のサイズであるとして、Ω(|MFI| + |MII|) で下限づけられる。
• クラウドの複雑さの上界は O(log |S(Ψ)|) であり、これはタイトであり、分類体系の構造を活用する構成的アルゴリズムによって達成可能である。
• 計算の複雑さは、MFI および MII の集合を計算するのに要する時間に依存し、その境界に到達する効率的なアルゴリズムが存在する。
• 分類体系の使用により、階層に沿って頻度情報を伝搬させることで、重複する照問を回避し、照問回数を顕著に削減できる。
• この問題は EQ-hard であることが示され、超グラフにおける極値集合の列挙という根本的な問題と関連づけられる。一般には未解決の問題であるが、分類体系の制約下では tractable である。