[論文レビュー] Robust Kernel Density Estimation

JooSeuk Kim, Clayton Scott|arXiv (Cornell University)|Jul 15, 2011

Anomaly Detection Techniques and Applications参考文献 30被引用数 175

ひとこと要約

本稿では、カーネル密度推定とM推定量を組み合わせることで、汚染された訓練データにおける外れ値への感受性を低減するロバストなカーネル密度推定量（RKDE）を提案する。KDEを再生核ヒルベルト空間（RKHS）における標本平均と解釈し、それにロバストなM推定量を適用することで、汚染下でも密度推定および異常検出において優れた性能を達成し、カーネル化されたIRWLSアルゴリズムにより収束保証が得られる。

ABSTRACT

We propose a method for nonparametric density estimation that exhibits robustness to contamination of the training sample. This method achieves robustness by combining a traditional kernel density estimator (KDE) with ideas from classical $M$-estimation. We interpret the KDE based on a radial, positive semi-definite kernel as a sample mean in the associated reproducing kernel Hilbert space. Since the sample mean is sensitive to outliers, we estimate it robustly via $M$-estimation, yielding a robust kernel density estimator (RKDE). An RKDE can be computed efficiently via a kernelized iteratively re-weighted least squares (IRWLS) algorithm. Necessary and sufficient conditions are given for kernelized IRWLS to converge to the global minimizer of the $M$-estimator objective function. The robustness of the RKDE is demonstrated with a representer theorem, the influence function, and experimental results for density estimation and anomaly detection.

研究の動機と目的

• データの汚染下でも従来のカーネル密度推定量（KDE）に見られるロバスト性の欠如に対処すること。
• 少数の訓練データが外れ値である場合でも正確に保てる非パラメトリックな密度推定量を開発すること。
• 計算効率が良く、グローバル解に確実に収束する推定量を保証すること。
• 影響関数解析および代表定理を通じて、ロバスト性の理論的裏付けを提供すること。
• 汚染されたベンチマークデータセットにおいて、密度推定および異常検出の両面で優れた性能を示すこと。

提案手法

• 径数が正定値の再生核ヒルベルト空間（RKHS）に関連する径数カーネルと関連したKDEを、標本平均として再解釈する。
• 標本平均をM推定量に置き換えることでロバスト性を達成し、ロバストな損失関数を最小化する。
• RKDEを効率的に計算するためのカーネル化された反復加重最小二乗法（KIRWLS）アルゴリズムを開発する。
• カーネルおよび損失関数に必要な十分条件が満たされれば、KIRWLSがM推定量の目的関数のグローバル最小値に収束することが保証される。
• RKDEが外れ値の多いデータポイントに小さい重みが割り当てられる重み付きKDEであることが、代表定理によって形式化されている。
• 外れ値への感受性を定量化するため、影響関数を閉形式で導出しており、標準KDEと比較して影響が著しく小さいことが示されている。

実験結果

リサーチクエスチョン

• RQ1 ノーマル分布や汚染分布にパラメトリックな仮定を置かずに、非パラメトリックな密度推定量を汚染に対してロバストにできるか？
• RQ2 KDEの外れ値への感受性を、非パラメトリックな柔軟性を損なわず低減する方法は何か？
• RQ3 カーネル化されたIRWLSアルゴリズムが、M推定量の目的関数のグローバル解に収束するための条件は何か？
• RQ4 RKDEは、汚染下の密度推定において、標準KDEおよび可変バンド幅KDEをどれほど上回るか？
• RQ5 訓練データに外れ値が含まれる異常検出タスクにおいて、RKDEはどのように性能を発揮するか？

主な発見

• 代表定理により、RKDEが外れ値の多いデータポイントに対して小さい重みが割り当てられる重み付きKDEであることが証明された。
• RKDEの影響関数は有界であり、KDEのそれと比べて著しく小さいことが確認され、汚染に対するロバスト性が裏付けられた。
• カーネルおよび損失関数に特定の条件が満たされれば、カーネル化されたIRWLSアルゴリズムがM推定量の目的関数のグローバル最小値に収束することが保証された。
• 実験的結果から、RKDEは汚染されたベンチマークデータセットにおける密度推定で、標準KDEおよび可変バンド幅KDEを上回ることが示された。
• 異常検出タスクにおいて、RKDEはベースライン手法と比較して高い検出精度と、ROC曲線下の面積が良好であった。
• 異なる汚染度およびカーネルタイプに対しても、RKDEは一貫した性能を示し、一般化されたロバスト性を確認した。