[論文レビュー] Evading the curse of dimensionality in multivariate kernel density estimation with simplified vines

Thomas Nagler, Claudia Czado|arXiv (Cornell University)|Mar 11, 2015

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、簡略化されたブーケット・コプゥラを用いた多次元カーネル密度推定器を提案する。この手法は次元に依存しない収束速度を保証することで、次元の呪いを克服する。シミュレーションおよび天体物理学的分類応用において、真の密度が簡略化されたブーケットでない場合でさえも、古典的手法よりも優れた精度を達成する。

ABSTRACT

Practical applications of multivariate kernel density estimators in more than three dimensions suffer a great deal from the well-known curse of dimensionality: convergence slows down as dimension increases. We propose an estimator that avoids the curse of dimensionality by assuming a simplified vine copula model. We prove the estimator's consistency and show that the speed of convergence is independent of dimension. Simulation experiments illustrate the large gain in accuracy compared with the classical multivariate kernel density estimator --- even when the true density does not belong to the class of simplified vines. Lastly, we give an application of the estimator to a classification problem from astrophysics.

研究の動機と目的

• 次元が増加するにつれて収束が著しく劣化する多次元カーネル密度推定における次元の呪いを解消すること。
• 次元に依存しない一貫性を保つ密度推定器を開発すること。
• 古典的手法が失敗する高次元設定においても、正確な密度推定を可能にすること。
• 合成データおよび天体物理学的分類などの実世界応用において、推定器の性能を検証すること。

提案手法

• 本手法は、多次元データの依存構造を簡略化されたブーケット・コプゥラでモデル化し、結合密度を二変量コプゥラ成分に分解する。
• 変換された一様マージンにおけるカーネルスムージングと組み合わせることで、多次元カーネル密度推定器を構築する。
• ブーケット構造を活用して有効次元を低減し、次元に伴うデータ要件の指数的増加を回避する。
• 弱い正則性条件の下で理論的一貫性が証明され、収束速度が次元に依存しない。
• ペア・コプゥラ構造を用いることで、複雑な依存関係をモデル化しつつ計算の妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 次元に依存しない一貫性を保つ多次元カーネル密度推定器を設計できるか？
• RQ2 簡略化されたブーケット・コプゥラの使用が、古典的手法よりも著しく推定精度を向上させるか？
• RQ3 真の密度が簡略化されたブーケットクラスに属さない場合、推定器の性能はどの程度か？
• RQ4 提案手法は、実世界の高次元分類問題に効果的に応用できるか？

主な発見

• 提案手法は次元に依存しない収束速度を達成する一貫性を示し、次元の呪いを効果的に回避する。
• シミュレーション結果から、真の密度が簡略化されたブーケットでない場合でも、古典的手法よりも顕著な精度向上が確認された。
• データの疎らさにより古典的手法が破綻する高次元設定でも、本推定器は強固な性能を維持した。
• 天体物理学的分類タスクにおいて、本手法は実用的で頑健な性能を示し、ベースライン手法を上回った。