[論文レビュー] Scalable Anomaly Detection in Large Homogenous Populations

Henrik Ohlsson, Tianshi Chen+3 more|arXiv (Cornell University)|Sep 20, 2013

Anomaly Detection Techniques and Applications参考文献 23被引用数 4

ひとこと要約

本稿では、大規模な同種集団における異常検出のための分散型でスケーラブルな最適化手法を提案する。多仮説問題をスパース最適化タスクに再定式化することで、グループlasso正則化に基づく凸緩和を用い、システム間で分散計算を可能にし、特定の条件下で正確な回復を達成するとともに、学習データセットや正常動作の事前モデルの必要性を排除する。

ABSTRACT

Anomaly detection in large populations is a challenging but highly relevant problem. The problem is essentially a multi-hypothesis problem, with a hypothesis for every division of the systems into normal and anomal systems. The number of hypothesis grows rapidly with the number of systems and approximate solutions become a necessity for any problems of practical interests. In the current paper we take an optimization approach to this multi-hypothesis problem. We first observe that the problem is equivalent to a non-convex combinatorial optimization problem. We then relax the problem to a convex problem that can be solved distributively on the systems and that stays computationally tractable as the number of systems increase. An interesting property of the proposed method is that it can under certain conditions be shown to give exactly the same result as the combinatorial multi-hypothesis problem and the relaxation is hence tight.

研究の動機と目的

• システムの組み合わせ数が組み合わせ的に増加する大規模集団における多仮説異常検出の計算不能性に対処する。
• 集団サイズに比例して効率的にスケーリングする分散アルゴリズムを設計し、システム間で計算を分散化する。
• 事前学習データセットや正常動作の既知モデルが不要となるように、正常ダイナミクスと異常検出を同時に推定する。
• 圧縮センシング理論を活用して、特定の条件下で凸緩和のタイトネスを証明することで、解の品質に理論的保証を付与する。

提案手法

• 各仮説が異常であるとされるシステムの部分集合に対応する非凸な組み合わせ最適化タスクとして、異常検出問題を定式化する。
• 和ノルム正則化（グループlassoに等価）を用いて組み合わせ問題を凸最適化問題に緩和し、全般的な正常モデルからの個々のシステムパラメータの逸脱にスパarsityを促進する。
• 各システムが集団サイズに依存せずに独立して局所最適化サブ問題を解ける分散アルゴリズム（アルゴリズム1）を実装する。
• 正則化パラメータλを用いてスパarsityを制御し、名目モデルからの非ゼロのパラメータ逸脱を示すシステムを、最も可能性の高い異常システムとして特定する。
• 圧縮センシング理論からの理論的結果を活用し、特定の条件下で凸緩和がタイトであることを示し、元の組み合わせ問題の正確な解を近似誤差なしに回復できることを証明する。
• 200機の航空機からなる実際のデータに本手法を適用し、1機あたり500便のフライトデータでスケーラビリティと正確性を実証する。

実験結果

リサーチクエスチョン

• RQ1 大規模な同種集団における多仮説異常検出問題を解くためのスケーラブルで分散型の最適化フレームワークを設計できるか？
• RQ2 組み合わせ的異常検出問題の凸緩和が、元の非凸問題と同一の解をもたらす条件は何か？
• RQ3 学習データセットや正常システムダイナミクスの事前知識がなくても、異常検出をどのように実現できるか？
• RQ4 計算効率と結果の解釈可能性の観点から、本手法は従来のモデルベース手法をどの程度上回るか？

主な発見

• 本手法は、1機あたり500便のフライトデータのみを用いて、200機の航空機集団において、正確に3機の真の異常機を特定した。
• 正則化パラメータλ = 150で、分散アルゴリズムは15イテレーションで収束し、27番目、161番目、183番目の航空機が異常であると正しく特定した。
• 特定の条件下で、凸緩和は理論的にタイトであり、元の組み合わせ問題の正確な解を近似誤差なしに回復できる。
• [11]で用いられるティコノフ正則化とは異なり、正常システムに対しても常に非ゼロの逸脱を生じるが、本手法のグループlassoを用いることで、λが十分に大きい場合には正常システムの逸脱がゼロになる。
• しきい値設定や追加のチューニングパラメータが不要であり、スパarsity誘導正則化が自然に異常システムを同定する。
• システム1台あたりの計算コストは集団サイズに依存せず一定であり、本手法は非常にスケーラブルで、大規模な展開に適している。