[論文レビュー] Kernel-based Outlier Detection using the Inverse Christoffel Function

Armin Askari, Forest Yang+1 more|arXiv (Cornell University)|Jun 18, 2018

Anomaly Detection Techniques and Applications参考文献 11被引用数 3

ひとこと要約

本稿では、逆クリスツォフェル関数のカーネル化された変種（KIC）を提案し、計算コストの高いモーメント行列の逆行列をカーネルに基づく定式化に置き換えることで、高次元データにおける効率的な計算を可能にする。この手法は、最先端の性能を達成しており、KIC2-RBFはハイパーパrameterチューニング後、平均AUPRCが0.65、特定のデータセットでは最大0.979を記録し、15のベンチマークデータセットで既存手法を上回る性能を示した。

ABSTRACT

Outlier detection methods have become increasingly relevant in recent years due to increased security concerns and because of its vast application to different fields. Recently, Pauwels and Lasserre (2016) noticed that the sublevel sets of the inverse Christoffel function accurately depict the shape of a cloud of data using a sum-of-squares polynomial and can be used to perform outlier detection. In this work, we propose a kernelized variant of the inverse Christoffel function that makes it computationally tractable for data sets with a large number of features. We compare our approach to current methods on 15 different data sets and achieve the best average area under the precision recall curve (AUPRC) score, the best average rank and the lowest root mean square deviation.

研究の動機と目的

• 高次元設定における元の逆クリスツォフェル関数手法の計算不能性（モーメント行列のサイズが指数関数的に増加するため）に対処すること。
• 元の手法がメモリ制約により機能しない、数100次元の特徴を持つデータセットに対しても効率的な外れ値検出を可能にするカーネル化定式化を開発すること。
• RBFカーネルを含むカーネル手法を活用し、無限次元の特徴空間へのアクセスを可能とし、モデルの柔軟性を向上させること。
• AUPRC、平均順位、RMSDなどの指標を用いて、標準的な外れ値検出ベンチマークで優れた性能を示すこと。
• $\rho I$ 項による正則化が、ロバストネスを向上させ、検出精度を向上させることを示すこと。

提案手法

• 完全なモーメント行列の逆行列を置き換えるために、逆クリスツォフェル関数の下界を提案し、正則化最小二乗法の定式化に置き換える。
• カーネル行列を用いて定式化することで、任意の正定値カーネルを用いることが可能なカーネル化逆クリスツォフェル関数（KIC）を導出する。
• RBFカーネルを用いてデータを無限次元空間にマップするが、これは元の定式化では不可能だが、カーネルトリックにより実行可能となる。
• Tikhonov型正則化項（$\rho I$）を適用し、逆行列の安定化と一般化性能の向上を図り、$\rho$ は各データセットごとにチューニングする。
• 逆クリスツォフェル関数をカーネル行列の逆行列により計算する双対定式化を採用し、特徴数に指数関数的に依存する計算量をデータ点数に立方関数的に低下させる。
• 2つのバリエーションを導入：KIC2（$\rho = C$）とKIC-RBF（RBFカーネル）、両者とも$\rho$ と $\sigma$ のハイパーパrameterチューニングにより最適化される。

実験結果

リサーチクエスチョン

• RQ1 逆クリスツォフェル関数は、高次元データにおける効率的計算を可能にする再定式化が可能か？
• RQ2 逆クリスツォフェル関数のカーネル化により、RBFカーネルが誘導するようなより豊かな特徴空間へのアクセスが可能か？
• RQ3 得られたカーネル化手法は、標準ベンチマークにおいて最先端手法を上回る外れ値検出性能を達成できるか？
• RQ4 $\rho I$ 項による正則化は、外れ値検出プロセスのロバストネスと精度にどのように影響するか？
• RQ5 本手法は、特徴次元数が異なる合成データおよび実世界データを含む多様なデータタイプに一般化可能か？

主な発見

• KIC手法は、元の逆クリスツォフェル手法がメモリ制約により失敗する784次元の特徴を持つデータセット（例：MNIST）でも正常に実行可能である。
• KIC2は、15のベンチマークデータセットで最高の平均AUPRC（0.65）と最小のRMSDを達成した。
• KIC2-RBFは、平均順位が最高であり、全データセットにわたる全体的な性能が優れていることを示している。
• 最適なハイパーパrameterチューニングにより、KIC2-RBFはMfeat2でAUPRC 0.979、Isoletで0.963、Optdigitsで0.722を記録し、表内の最良結果を大幅に上回った。
• 他の手法が性能を発揮しないデータセットでは、RBFカーネルバージョンが特に優れた性能を示しており、非線形性の高い複雑なデータ構造に適していることが示唆された。
• KSPおよびKIC手法のフィルタリング版は性能が劣っており、特定のデータタイプではフィルタリングステップが性能を低下させる可能性があることが示された。