[論文レビュー] Robust Kernel Density Estimation by Scaling and Projection in Hilbert Space

Robert A. Vandermeulen, Clayton Scott|arXiv (Cornell University)|Nov 17, 2014

Statistical Methods and Inference参考文献 19被引用数 4

ひとこと要約

本稿では、スケーリングと$L^2$ノルムにおける射影を用いて従来のKDEを改善する、ロバストな非パラメトリック密度推定器であるスケーリングおよびプロジェクション・カーネル密度推定器（SPKDE）を提案する。この手法は、カーネル密度をスケーリングし、その結果得られる密度を$L^2$ノルムにおいて最も近い重み付き密度関数に射影することで、データの混合による汚染に対する耐性を高める。汚染に関する十分な条件下で、真のターゲット密度を漸近的に回復することを示し、汚染が存在するベンチマークデータセットにおいて、一貫性と優れた性能を示す。

ABSTRACT

While robust parameter estimation has been well studied in parametric density estimation, there has been little investigation into robust density estimation in the nonparametric setting. We present a robust version of the popular kernel density estimator (KDE). As with other estimators, a robust version of the KDE is useful since sample contamination is a common issue with datasets. What "robustness" means for a nonparametric density estimate is not straightforward and is a topic we explore in this paper. To construct a robust KDE we scale the traditional KDE and project it to its nearest weighted KDE in the $L^2$ norm. This yields a scaled and projected KDE (SPKDE). Because the squared $L^2$ norm penalizes point-wise errors superlinearly this causes the weighted KDE to allocate more weight to high density regions. We demonstrate the robustness of the SPKDE with numerical experiments and a consistency result which shows that asymptotically the SPKDE recovers the uncontaminated density under sufficient conditions on the contamination.

研究の動機と目的

• データの汚染が存在する状況における、ロバストな非パラメトリック密度推定手法の欠如に対処すること。
• 汚染された密度が非パラメトリックな設定において、どのような条件下で復元可能かを形式化すること。
• ターゲット密度と汚染密度の混合から真のターゲット密度を回復できる、スケーラブルで一貫性のある推定器を開発すること。
• 特にカーネル密度推定器における非パラメトリック密度推定のロバスト性の理論的基盤を提供すること。
• 実世界のデータセットを用いた、SPKDEが標準KDE、RKDE、rejKDEと比較して、汚染レベルが変化する条件下でどのように性能を発揮するかを実証的に検証すること。

提案手法

• SPKDEは、標準的なカーネル密度推定器（KDE）から出発し、密度差を強調するために1より大きな要因でスケーリングする。
• その後、スケーリングされたKDEを$L^2$ノルムにおいて最も近い確率密度関数に射影する。この射影は、点ごとの誤差を2乗でペナルティ付ける。
• この射影により、低密度領域から高密度領域へ重みが再配分され、結果として汚染の影響が効果的に抑制される。
• スケーリングされたKDEに最も近い重み付きKDEを$L^2$ノルムで見つける制約付き最適化問題としてこの手法を定式化する。
• 理論的解析により、SPKDEの漸近的極限は、観測密度の変換されたバージョンであることが示され、$f_{\text{tar}}$と$f_{\text{con}}$に十分な条件が満たされれば、真のターゲット密度に一致する。
• ヒルバート空間の幾何学的性質を活用することで、出力が有効な確率密度関数のまま保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット密度と汚染密度にどのような条件下で、非パラメトリックな復元手順が真の密度を回復できるか。
• RQ2 汚染下においても、真のターゲット密度に漸近的に収束するロバストなカーネル密度推定器を構築可能か。
• RQ3 $L^2$ノルムにおけるスケーリングされたKDEの射影が、標準KDEや他のロバスト推定器と比較して、どのようにロバスト性を向上させるか。
• RQ4 無限サンプル設定における非パラメトリック密度の復元のための形式的フレームワークは存在するか。
• RQ5 実世界のデータセットにおける汚染下で、SPKDEの実証的性能は、既存のロバストKDE手法と比較してどの程度優れているか。

主な発見

• SPKDEは、$f_{\text{tar}}$と$f_{\text{con}}$に十分な条件が満たされれば、真のターゲット密度$f_{\text{tar}}$を漸近的に回復する。特に、汚染が低密度領域に現れる場合に有効である。
• SPKDEは一貫性のある推定を達成し、漸近的極限は観測密度のスケーリングおよびシフトされたバージョンであり、提案された条件下では$f_{\text{tar}}$に等しくなる。
• ドイツ、ハート、ソナーのデータセットでは、SPKDEはKDEやRKDEと比較して顕著に低い対数尤度スコアを達成し、ドイツでは-0.48 ± 0.4、ソナーでは-19 ± 5のスコアを記録。RKDEやrejKDEを上回る性能を示した。
• リングノルムと波形のデータセットでは、SPKDEはそれぞれ-14 ± 0.4および-8.3 ± 0.3の対数尤度を達成し、すべての汚染レベルで他の手法と同等またはそれを上回った。
• スプライスおよび甲状腺のデータセットでは、SPKDEは安定した性能を示し、対数尤度がそれぞれ34 ± 0.2および-6.8 ± 0.2を記録。汚染に対して高いロバスト性を示した。
• 高汚染度のベンチマークにおいて、SPKDEは標準KDEおよびRKDEを一貫して上回り、rejKDEはソナーおよびリングノルムで最も悪い性能を示した。