[論文レビュー] Learning Efficient Anomaly Detectors from $K$-NN Graphs

Jing Qian, Jonathan Root+1 more|arXiv (Cornell University)|Feb 6, 2015

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、K-NNグラフを用いて平均K-NN距離に基づく異常度スコアを計算し、最大マージン学習-ランク手法を用いて軽量なモデルを訓練することでp値スコアを予測する非パrametricな異常検出手法を提案する。この手法は、最小体積レベル集合への意思決定領域の収束において漸近的最適性を達成し、dが環境次元、sがモデル複雑度であるO(ds)のテスト時計算量を実現するなど、顕著な計算効率性を有する。

ABSTRACT

We propose a non-parametric anomaly detection algorithm for high dimensional data. We score each datapoint by its average $K$-NN distance, and rank them accordingly. We then train limited complexity models to imitate these scores based on the max-margin learning-to-rank framework. A test-point is declared as an anomaly at $α$-false alarm level if the predicted score is in the $α$-percentile. The resulting anomaly detector is shown to be asymptotically optimal in that for any false alarm rate $α$, its decision region converges to the $α$-percentile minimum volume level set of the unknown underlying density. In addition, we test both the statistical performance and computational efficiency of our algorithm on a number of synthetic and real-data experiments. Our results demonstrate the superiority of our algorithm over existing $K$-NN based anomaly detection algorithms, with significant computational savings.

研究の動機と目的

• 高次元データにおいてスケーリングが著しく劣る既存のK-NNベースの異常検出手法の計算非効率性を是正すること。
• 再トレーニングを必要とせず、さまざまな誤報率に一般化できる手法を開発すること。
• 潜在的な密度の最小体積レベル集合への収束により、意思決定領域推定において統計的最適性を達成すること。
• 学習-ランクを活用して、密度による順序を保持するコンactなモデルを訓練し、効率的な推論を可能とすること。
• 現実世界の高次元環境における異常検出において、統計的性能と計算効率のバランスを取ること。

提案手法

• 局所的密度推定のため、各トレーニングポイントの平均K-NN距離を用いてスコアを算出し、距離が小さいほど名目的な密度が高いとみなす。
• K-NN距離に基づき、データポイントをp値スコアにマップする関数的予測子を、最大マージン学習-ランクフレームワークを用いて訓練する。
• 非増加かつ微分可能な凸な代替損失関数（例：ハンジン損失）を定義し、推定密度によるポイントの順序付けが最適に保たれることを保証する。
• 異常検出器をしきい値ルールとして定義する：テストポイントの予測スコアがαパーセンタイルに位置する場合、その点は異常と判定する。ここでαは誤報率に対応する。
• テスト時計算量をO(ds)に抑え、nがトレーニングサンプル数であるO(dn)やO(dn²)の手法と比較して著しく実行時間を短縮する。
• i.i.d.サンプリングの下で、学習されたランカーが真の密度に基づく順序を保つことを証明することで、漸近的最適性を確保する。

実験結果

リサーチクエスチョン

• RQ1 K-NNグラフに基づく非パrametricな異常検出手法は、意思決定領域推定において漸近的最適性を達成できるか？
• RQ2 K-NNベースの異常検出の計算コストを統計的性能を損なわず低減できるか？
• RQ3 学習-ランクフレームワークは、K-NN距離からの異常スコアを未観測のテストポイントへ効果的に一般化できるか？
• RQ4 K-NN距離に基づくスコアと、潜在的な密度の最小体積レベル集合との関係は何か？
• RQ5 提案手法は、さまざまな誤報率と高次元データにおいても高いAUC性能を維持できるか？

主な発見

• 提案手法は漸近的最適性を達成する：任意の誤報率αに対して、意思決定領域は未知の密度のαパーセンタイル最小体積レベル集合に収束する。
• テスト時計算量はO(ds)であり、sがモデル複雑度である。既存のK-NN手法のO(dn)やO(dn²)と比較して顕著な計算コストの削減が達成される。
• ハングイン損失を用いた学習-ランクフレームワークにより、弱い正則性条件の下で、真の密度によるポイントの順序が保たれることを証明した。
• 合成データおよび実世界のデータセットにおける実験結果から、先行するK-NNベースの異常検出手法と比較して優れた統計的性能（AUC）と顕著な計算効率性を示した。
• 再トレーニングを必要とせず、p値スコアを出力するため、任意のαレベルでの動的しきい値設定が可能であり、さまざまな誤報レベルに良好に一般化される。
• 理論的分析により、最大マージン学習-ランクによるランカーが、密度が未知であっても、ポイントを真の密度に従って正しく順序付けすることが保証された。