[論文レビュー] Fast and Memory-Efficient Significant Pattern Mining via Permutation Testing

Felipe Llinares López, Mahito Sugiyama+2 more|arXiv (Cornell University)|Feb 15, 2015

Data Mining Algorithms and Applications参考文献 5被引用数 9

ひとこと要約

この論文は、各パーミュテーションの再実行を回避することで、計算コストを抑えるパーミュテーション検定を用いて家族-wise 偽発見率（FWER）を厳密に制御する、高速かつメモリ効率の良い顕著なパターンマイニングのための新規アルゴリズム「Westfall-Young light」を提案する。実世界のアイテムセットおよび部分グラフマイニングベンチマークにおいて、最先端の手法と比較して最大1,000倍の高速化と10–100倍の低メモリ使用量を達成した。

ABSTRACT

We present a novel algorithm, Westfall-Young light, for detecting patterns, such as itemsets and subgraphs, which are statistically significantly enriched in one of two classes. Our method corrects rigorously for multiple hypothesis testing and correlations between patterns through the Westfall-Young permutation procedure, which empirically estimates the null distribution of pattern frequencies in each class via permutations. In our experiments, Westfall-Young light dramatically outperforms the current state-of-the-art approach in terms of both runtime and memory efficiency on popular real-world benchmark datasets for pattern mining. The key to this efficiency is that unlike all existing methods, our algorithm neither needs to solve the underlying frequent itemset mining problem anew for each permutation nor needs to store the occurrence list of all frequent patterns. Westfall-Young light opens the door to significant pattern mining on large datasets that previously led to prohibitive runtime or memory costs.

研究の動機と目的

• 組み合わせ的に爆発的なパターン空間における多数の仮説検定によって生じる誤検出の深刻な問題に対処すること。
• パターンのサイズに制限を課すことなく、かつパターン間の独立性を仮定しないで、家族-wise 偽発見率（FWER）を厳密に制御する手法を開発すること。
• 特に密度が高く大規模なデータベースに対して、パーミュテーションベースの FWER 校正の計算コストを大幅に削減すること。
• これまでに計算不能と見なされていたデータセット、特に実行時間やメモリ要件が過剰であるために処理不可能とされたデータセットにおける顕著なパターンマイニングを可能にすること。

提案手法

• アルゴリズムは、小規模なパターンから始め、最小サポート閾値を段階的に増加させるインクリメンタルな探索戦略を採用し、各ステップで頻出パターンマイニングを再計算する必要を回避する。
• Westfall-Young パーミュテーション手順を適用して、クラス間のパターン頻度の帰無分布を経験的に推定し、多重仮説検定およびパターン間の相関を補正する。
• 特に、すべての頻出パターンの完全な出現リストを保存せず、各パーミュテーションに対して基礎となる頻出パターンマイニングアルゴリズムを再実行しないことで、メモリおよび時間のオーバーヘッドを顕著に削減する。
• 早期終了や効率的なデータ構造管理などの計算最適化を活用し、大規模で高密度なデータセットでも高いパフォーマンスを維持する。
• パーミュテーションサンプリングにより有効な検定数を推定するが、過去のサポート閾値からの中間結果を再利用することで、各パーミュテーションごとの完全な再計算を回避する。
• アルゴリズムはサポート閾値を動的に調整し、ブラックボックス型の頻出パターンマイナーを各ステップでパターン数の評価に使用することで、既存のマイニングツールとの互換性を保証する。

実験結果

リサーチクエスチョン

• RQ1 顕著なパターンマイニングアルゴリズムは、大規模で高密度なデータセットにおいても計算的に実行可能でありながら、最適な FWER 制御を達成できるか？
• RQ2 実世界の応用において、数十億ものパターン検定にスケーリング可能なパーミュテーションベースの多重仮説検定補正は、どのようにして効率化できるか？
• RQ3 各パーミュテーションごとに頻出パターンマイニングを再計算するのを回避し、メモリオーバーヘッドを低減するための計算最適化は何か？
• RQ4 パーミュテーションベースの有意性検定において、インクリメンタルな探索戦略はデクリメンタル戦略に比べ、実行時間およびメモリ効率で優れているか？
• RQ5 提案手法のメモリ使用量は、データベースのサイズおよび密度の増加に伴い、既存の手法と比較してどのように変化するか？

主な発見

• Westfall-Young light は、アイテムセットおよび部分グラフマイニングベンチマークにおいて、最先端の FastWY アルゴリズムと比較して、実行時間を最大3桁（1,000倍）短縮した。
• Westfall-Young light のピークメモリ使用量は、特に大規模で高密度なデータセットにおいて、既存の手法と比較して1〜2桁（10〜100倍）低減された。
• 計算コストの高いデクリメンタル探索を採用する最先端の FastWY とは異なり、Westfall-Young light はインクリメンタル戦略を採用することで、統計的厳密性を損なわず、顕著なパフォーマンス向上を達成した。
• アルゴリズムのメモリ使用量はデータベースの複雑さに伴い穏やかに増加するが、FastWY のメモリ使用量は急激に増加し、大規模な環境では処理不能になる。
• Westfall-Young light は最適な統計的パワーを維持しながら、有効な検定数に依存するヒューリスティック手法が示す FWER の過大評価を回避し、家族-wise 偽発見率（FWER）を厳密に制御した。
• 本手法により、これまでにメモリまたは実行時間の制約により処理不能とされていたデータセットにおける顕著なパターンマイニングが可能になった。これにより、計算生物学などのデータ集約型分野における応用の新たな道が開かれた。