[論文レビュー] One-Class Kernel Spectral Regression for Outlier Detection.

Shervin Rahimzadeh Arashloo, Josef Kittler|arXiv (Cornell University)|Jul 3, 2018

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

本稿では、再帰的核ヒルバート空間におけるレイリー商最適化として外れ値検出を定式化する非線形1クラス分類器であるOne-Class Kernel Spectral Regression (OKSR)を提案する。スペクトル回帰とカーネルトリックを活用することで、カーネル行列計算に支配的な低計算量で効率的な計算を実現し、インクリメンタル学習、任意の負例を用いた自己教師あり学習、外れ値検出のための効果的な非線形特徴空間へのマッピングを可能にする。

ABSTRACT

The paper introduces a new efficient nonlinear one-class classifier formulated as the Rayleigh quotient criterion optimisation. The method, operating in a reproducing kernel Hilbert subspace, minimises the scatter of target distribution along an optimal projection direction while at the same time keeping projections of positive observations distant from the mean of the negative class. We provide a graph embedding view of the problem which can then be solved efficiently using the spectral regression approach. In this sense, unlike previous similar methods which often require costly eigen-computations of dense matrices, the proposed approach casts the problem under consideration into a regression framework which is computationally more efficient. In particular, it is shown that the dominant complexity of the proposed method is the complexity of computing the kernel matrix. Additional appealing characteristics of the proposed one-class classifier are: 1-the ability to be trained in an incremental fashion (allowing for application in streaming data scenarios while also reducing the computational complexity in a non-streaming operation mode); 2-being unsupervised, but providing the option for refining the solution using negative training examples, when available; Last but not least, 3-the use of the kernel trick which facilitates a nonlinear mapping of the data into a high-dimensional feature space to seek better solutions.

研究の動機と目的

• 密行列の固有値分解にかかる高コストを回避しつつ、高い検出精度を維持する計算効率の良い非線形1クラス分類器の開発。
• バッチ処理環境でも計算オーバーヘッドを低く保ちつつ、ストリーミングデータ用途に適したインクリメンタル学習を可能にする。
• 自己教師あり学習を提供するが、利用可能な負例が存在する場合にはそれらを用いて意思決定境界を精錬できる柔軟なフレームワークの提供。
• カーネルトリックを活用してデータを高次元特徴空間にマップし、外れ値の非線形分離を向上させる。
• グラフ埋め込みの観点から1クラス分類問題を再定式化し、最適化と解釈可能性を向上させる。

提案手法

• 外れ値検出を再帰的核ヒルバート空間におけるレイリー商最適化問題として定式化し、目的の散乱を最小化するとともに、負のクラス平均からの距離を最大化する。
• スペクトル回帰フレームワークを用いて最適化問題を回帰問題に変換し、密行列の高価な固有値分解に依存するのを減らす。
• 主な計算コストはカーネル行列計算であり、大規模データに対して従来の固有値ソルバーに比べてより効率的である。
• フル再トレーニングなしに解を更新できるため、インクリメンタル学習がネイティブにサポートされ、ストリーミングデータ環境に適している。
• 負のトレーニング例を任意で統合し、そのようなデータが利用可能である場合に意思決定境界を精錬できる。
• カーネルトリックにより、入力データを高次元特徴空間に非線形マッピングでき、複雑な外れ値パターンの検出能力が向上する。

実験結果

リサーチクエスチョン

• RQ1 計算コストの高い固有値分解を回避しつつ、高い検出精度を維持できる1クラス分類器を設計できるか？
• RQ2 スペクトル回帰は、カーネル誘導された特徴空間における1クラス外れ値検出に効果的に適応できるか？
• RQ3 リアルタイムまたはストリーミングデータ用途の非線形1クラス分類器に、インクリメンタル学習をどの程度統合できるか？
• RQ4 負例の導入が、自己教師あり1クラス分類器の性能とロバストネスに与える影響は何か？
• RQ5 1クラス問題のグラフ埋め込み解釈は、標準的な定式化と比較して、より安定的かつ効率的な最適化を可能にするか？

主な発見

• 提案手法は、カーネル行列計算の複雑さに主に依存するため、密行列の固有値分解を回避することで計算効率を達成する。
• スペクトル回帰の定式化により、従来の固有値ソルバーに依存する1クラス手法と比較して、よりスケーラブルで効率的な最適化プロセスが実現される。
• インクリメンタル学習がネイティブにサポートされ、フル再トレーニングなしにストリーミングデータ環境での効率的適応が可能である。
• デフォルトでは自己教師ありだが、負例が利用可能であればそれらを用いて意思決定境界の品質を向上できる。
• カーネルトリックの使用により、高次元特徴空間への効果的な非線形マッピングが可能となり、複雑な外れ値パターンの検出能力が向上する。
• グラフ埋め込み解釈により、最適化の理論的基盤が強化され、本手法が確立されたスペクトル学習の原則と結びつく。