[論文レビュー] DenseAlert: Incremental Dense-Subtensor Detection in Tensor Streams

Kijung Shin, Bryan Hooi+2 more|arXiv (Cornell University)|Jun 11, 2017

Tensor decomposition and applications参考文献 18被引用数 9

ひとこと要約

DenseAlert と DenseStream は、進化するテンソルストリームにおける密な部分テンソルのリアルタイム検出のための段階的アルゴリズムを導入し、保証された密度バウンズを満たしながら、バッチ手法に比べ最大100万倍の高速性を達成する。この手法は、ネットワーク攻撃やレーティング操作のような急激で小規模な異常を高い精度で検出でき、動的で現実世界の状況において静的手法を上回る性能を発揮する。

ABSTRACT

Consider a stream of retweet events - how can we spot fraudulent lock-step behavior in such multi-aspect data (i.e., tensors) evolving over time? Can we detect it in real time, with an accuracy guarantee? Past studies have shown that dense subtensors tend to indicate anomalous or even fraudulent behavior in many tensor data, including social media, Wikipedia, and TCP dumps. Thus, several algorithms have been proposed for detecting dense subtensors rapidly and accurately. However, existing algorithms assume that tensors are static, while many real-world tensors, including those mentioned above, evolve over time. We propose DenseStream, an incremental algorithm that maintains and updates a dense subtensor in a tensor stream (i.e., a sequence of changes in a tensor), and DenseAlert, an incremental algorithm spotting the sudden appearances of dense subtensors. Our algorithms are: (1) Fast and 'any time': updates by our algorithms are up to a million times faster than the fastest batch algorithms, (2) Provably accurate: our algorithms guarantee a lower bound on the density of the subtensor they maintain, and (3) Effective: our DenseAlert successfully spots anomalies in real-world tensors, especially those overlooked by existing algorithms.

研究の動機と目的

• 静的テンソルを仮定する既存の密部分テンソル検出アルゴリズムのギャップを埋めるために、ストリーム更新のリアルタイム処理を可能にする。
• ネットワークトラフィックやレビューシステムのような時間的に変化する多様な側面を持つデータにおいて、詐欺や攻撃を示す急激で小規模な密な部分テンソルを検出する。
• 高効率性とスケーラビリティを確保しつつ、検出された部分テンソルの密度に理論的下限を維持する。
• 「いつでも」更新が可能な段階的フレームワークを構築し、継続的な監視と即時の異常への対応を可能にする。

提案手法

• DenseStream は、証明可能な密度保証を伴う小さな候補部分テンソルのサブセットを動的に更新することで、テンソルストリームにおける密な部分テンソルを段階的に維持する。
• アルゴリズムは最小限の部分テンソル集合に焦点を当てたグリーディ選択戦略を用い、精度を損なわず高速な更新を実現する。
• DenseAlert は DenseStream を基盤とし、短い時間間隔内でのエントリの時間的集中を分析することで、密な部分テンソルの急激な出現を検出する。
• 多くの類似エントリが短時間にわたり一斉に出現する「ロックステップ動作」パターンを活用し、潜在的な攻撃や操作を同定する。
• 検出された部分テンソルの密度に理論的下限を提供することで、リアルタイム環境でも正確性を保証する。
• 両アルゴリズムはストリーミングワークロードを想定しており、更新時間はデータサイズに対して非線形的に増加し、大規模なテンソルストリームへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 進化するテンソルストリームにおいて、バッチ処理に依存するのではなく、リアルタイムで効率的かつ正確に密な部分テンソルを検出することは可能か？
• RQ2 短い時間間隔内に出現する急激で小規模な密な部分テンソル（詐欺や攻撃を示唆）を、どのように効果的に検出できるか？
• RQ3 段階的アルゴリズムは、バッチ手法に比べて桁違いの高速化を達成しながら、部分テンソル密度に証明可能な下限を維持できるか？
• RQ4 既存のバッチベースの密部分テンソル検出アルゴリズムは、現実世界のデータにおいて、微細で時間的に集中した異常をどれほど効果的に検出できないか？

主な発見

• DenseStream は、最も高速なバッチアルゴリズムに比べ、最大100万倍の高速な更新性能を達成し、バッチ手法と同等の密度保証を維持する。
• DenseAlert は TCP ダンプデータセットにおける最も密な15個の部分テンソルをすべて検出し、すべてが実際のネットワーク攻撃に対応しており、AUC 0.924 を達成する。
• 既存のアルゴリズムが見過ごす小規模なレーティング操作攻撃についても、Yelp や Wikipedia データで成功裏に同定する。
• DenseAlert は、1日で900回の編集を含む韓国Wikipediaにおける高影響力の編集戦争を検出しており、実世界の異常検出における有効性を裏付けている。
• DenseStream の更新時間の時間計算量は、データサイズに対して非線形的に増加し、大規模なテンソルストリームにおける強力なスケーラビリティを示している。
• 実験では、テンソル分解に基づくアプローチが限界的な正確性を示したため、提案手法のグリーディで密度保証付きのアプローチの優位性が浮き彫りになった。