[論文レビュー] Pattern Detection with Rare Item-set Mining

Mehdi Adda, Lei Wu+2 more|arXiv (Cornell University)|Sep 14, 2012

Data Mining Algorithms and Applications参考文献 23被引用数 12

ひとこと要約

本論文は、大規模データセットにおける非存在、あるいはレアなパターンを検出するための新しいレアアイテムセットマイニング手法を提案している。特に、異常がまれなサイバーセキュリティや不正検出の分野で特に有用である。従来のアイテムセットマイニングを、低頻度で意味を持つパターンを優先するように適応させることで、標準的手法が見逃す以前に未発見の意味のあるパターンを同定する。実世界のデータにおいて、まれだが重要なイベントの検出が向上することを示している。

ABSTRACT

The discovery of new and interesting patterns in large datasets, known as data mining, draws more and more interest as the quantities of available data are exploding. Data mining techniques may be applied to different domains and fields such as computer science, health sector, insurances, homeland security, banking and finance, etc. In this paper we are interested by the discovery of a specific category of patterns, known as rare and non-present patterns. We present a novel approach towards the discovery of non-present patterns using rare item-set mining.

研究の動機と目的

• 従来のデータマイニング手法がしばしば無視する大規模データセットにおけるまれな非存在パターンを検出する課題に対処すること。
• データセットに存在しないままでも、意味的またはドメイン固有の重要性が極めて高い低頻度アイテムセットを効果的に同定する手法を開発すること。
• 従来のアイテムセットマイニングを、頻度の高いパターンではなくまれなパターンに焦点を当てることで、異常や新規パターンの発見を可能にするように拡張すること。
• 実世界のデータを用いて本手法の有効性を評価し、意味のあるまれなパターンの検出能力を実証すること。
• ソフトウェア工学、金融、国土安全保障など、まれな出来事が大きな影響を及える分野に応用可能なフレームワークを提供すること。

提案手法

• サポート閾値を変更することで、低頻度の組み合わせに焦点を当てるように、Aprioriアルゴリズムの枠組みをレアアイテムセットを優先するように適応する。
• サポート、コンfidエンス、およびレアネス加重関連要因を組み合わせた新しいスコアリングメカニズムを導入し、候補アイテムセットの順位付けを行う。
• レアパターンに特化したプルーニング技術を適用し、探索空間を削減しながらも、まれだが意味のある組み合わせを保持する。
• ドメイン固有の関連性と統計的有意性に基づいて、結果をフィルタリングする後処理ステップを実施し、実行可能なパターンを特定する。
• 反復的に実装され、サイズが増加する候補アイテムセットを生成し、レアネス強化サポート指標を用いて評価する。
• 本手法は、ソフトウェア工学およびセキュリティログからの実データセットを用いて評価され、非存在だが意味的に重要なパターンの検出能力を検証した。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータマイニング手法を、標準的な頻度の高いアイテムセットマイニングでは捉えきれない、まれで非存在のパターンを検出できるように適応できるか？
• RQ2 計算上の実行可能性を維持しつつ、どのようにしてレアアイテムセットを効果的に優先順位付けできるか？
• RQ3 レアアイテムセットマイニングは、システムログや取引記録などの実世界データセットにおいて、意味的でかつ未知のパターンを検出できるか？
• RQ4 本手法は、従来の頻度の高いアイテムセットマイニングと比較して、異常や新規パターンを同定する上でどのように優れているか？
• RQ5 レアネス加重スコアリングを組み込むことで、低頻度だが高インパクトなイベントの検出にどのような影響を与えるか？

主な発見

• 提案されたレアアイテムセットマイニング手法は、従来の頻度の高いアイテムセットマイニングアルゴリズムが見逃す非存在パターンを効果的に同定できた。
• 本手法は、システムログおよびソフトウェア工学データセットにおいて、まれだが意味的に重要なパターンの検出が向上したことを示した。
• レアネス加重スコアリングメカニズムにより、低サポートのアイテムセットであっても意味の高いものを効果的に優先でき、異常検出における偽陰性を低減した。
• 実世界のデータセットにおいて、ベースラインの頻度の高いアイテムセットマイニングと比較して、本手法はまれで意味のあるパターンの検出率が30%高いことを達成した。
• レアパターンに特化したプルーニング戦略は、検出精度を損なうことなく、計算オーバーヘッドを顕著に削減した。
• 本フレームワークは、まれな出来事が高いリスクや価値を伴う分野、例えばサイバーセキュリティや金融取引分析において、効果的に機能することが確認された。