[論文レビュー] MULTIVARIATE DENSITY ESTIMATION BASED ON ADAPTIVE PARTITIONING: CONVERGENCE RATE, VARIABLE SELECTION AND SPATIAL ADAPTATION

Linxi Liu, Wing Hung Wong|arXiv (Cornell University)|Jan 12, 2014

Statistical Methods and Inference参考文献 18被引用数 8

ひとこと要約

本稿では、尤度を最大化するように適応的二分分割を用いた非パラメトリックな多次元密度推定法を提案する。この手法により、区分的定数ヒストグラムが得られ、豊富な密度関数のクラスに対して次元に依存しない収束速度が保証される。これは次元の呪いに対する耐性を示唆する。さらに、変数選択および空間的適合性への応用が可能であり、明示的な収束速度が導出されている。

ABSTRACT

Density estimation is one of the most fundamental problems in statistical inference. Here, we introduce a non-parametric approach to multivariate density estimation. The estimators are piecewise constant density functions supported by binary partitions. The partition of the sample space is learned by maximizing the likelihood of the corresponding histogram on that partition. We analyze the convergence rate of these maximum likelihood estimators and reach a conclusion that for a relatively rich class of density functions the rate does not directly depend on the dimension. This suggests that, under certain conditions, this method is immune to the curse of dimensionality. We also apply this method to variable selection and spatial adaptation cases, and calculate the explicit convergence rates respectively. These results help us further understand under what circumstances, and for which density classes, would this method perform well.

研究の動機と目的

• 次元の呪いを回避する非パラメトリックな多次元密度推定法の開発。
• 適応的二分分割に基づく最尤推定器の収束速度の分析。
• 変数選択および空間的適合性への手法の拡張を行い、明示的な収束速度を導出すること。
• 特定の密度関数クラスに対して本手法が良好に機能する条件の同定。

提案手法

• 本手法は、標本空間の二分分割に基づく区分的定数密度推定器を構築する。
• 分割は、対応するヒストグラムのデータに対する尤度を最大化するように選択される。
• データ駆動の分割の精緻化により、局所的な密度特徴に適応する。
• 尤度に基づく分割プロセスの理論的分析を用いて収束速度が導出される。
• 関連する次元の選択により変数選択を実現し、局所的な分割の精緻化を許容することで空間的適合性を実現する。
• 各拡張ケースについて、収束速度の理論的バウンディングが導出される。

実験結果

リサーチクエスチョン

• RQ1 適応的分割に基づく非パラメトリック密度推定器は、次元に依存しない収束速度を達成できるか？
• RQ2 尤度に基づく分割戦略は、高次元設定における推定精度にどのように影響するか？
• RQ3 密度推定における変数選択に本手法を適用した際の収束速度は何か？
• RQ4 局所的分割による空間的適合性は収束速度にどのように影響するか？
• RQ5 どのような密度関数クラスにおいて本手法が最も良好に機能するか？

主な発見

• 適応的分割に基づく最尤推定器の収束速度は、豊富な密度関数のクラスにおいて次元に直接依存しない。
• 密度関数に一定の正則性条件が満たされれば、本手法は次元の呪いに対して耐性を示す。
• 変数選択の拡張形に対して明示的な収束速度が導出された。
• 空間的適合性の拡張に対しても明示的な収束速度が確立された。
• 結果から、局所的構造を持つ密度関数や低次元の内在的次元を持つ密度関数に対して、本手法は良好に機能することが示唆される。