[論文レビュー] Multivariate Density Estimation via Adaptive Partitioning (I): Sieve MLE

Linxi Liu, Wing Hung Wong|arXiv (Cornell University)|Jan 12, 2014

Statistical Methods and Inference参考文献 27被引用数 4

ひとこと要約

本稿では、スieves最大尤度に基づく区分的定数密度推定器を構築するための適応的二分木分割を用いた非パラメトリック多変量密度推定法を提案する。主な貢献は、特定の滑らかさ条件の下で次元に依存しない収束速度を達成することであり、次元の呪いに強く、高次元設定でもほぼパラメトリックな収束速度を達成することを示している。

ABSTRACT

We study a non-parametric approach to multivariate density estimation. The estimators are piecewise constant density functions supported by binary partitions. The partition of the sample space is learned by maximizing the likelihood of the corresponding histogram on that partition. We analyze the convergence rate of the sieve maximum likelihood estimator, and reach a conclusion that for a relatively rich class of density functions the rate does not directly depend on the dimension. This suggests that, under certain conditions, this method is immune to the curse of dimensionality, in the sense that it is possible to get close to the parametric rate even in high dimensions. We also apply this method to several special cases, and calculate the explicit convergence rates respectively.

研究の動機と目的

• 従来の手法が失敗する高次元設定でも有効な非パラメトリック多変量密度推定法を開発すること。
• 次元の増加に伴って収束速度が劣化しないように、密度推定における次元の呪いを克服する推定器の構築。
• データに適応する分割スキームを設計し、最適なヒストグラム構造をデータから学習することで、柔軟性と精度を向上させること。
• 真の密度に一般な滑らかさ条件が成り立つ場合のスieves最大尤度推定器の理論的収束速度を確立すること。
• 有効次元（ambient dimensionではなく）が収束速度を決定することを示し、高次元スパース構造においても性能を発揮できることを示すこと。

提案手法

• 本手法は、標本空間の二分木分割に支持される区分的定数密度関数を用い、分割はヒストグラム上の尤度を最大化することで学習される。
• スieves MLEフレームワークにより、区分的定数密度モデル下での観測データの対数尤度を最大化する分割が選ばれる。
• 空間を座標軸に沿って再帰的に分割することで、適応的分割が実現され、密度や複雑度の高い領域に解像度を集中させることができる。
• 密度をdyadic分割上で表現するためにハールウェーブレット基底関数を活用し、計算の効率化と近似解析を可能にする。
• 理論的分析では、エントロピーおよびメトリックエントロピーの議論を用いて近似誤差を抑え、有効次元に基づいた収束速度を確立する。
• 推定密度の正規化により、有効な確率密度関数を保ちつつ収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 スパarsityや低内在次元を仮定しない高次元設定でも、非パラメトリック密度推定器が高速な収束速度を達成できるか？
• RQ2 スieves MLEフレームワークにおける適応的二分木分割が、環境次元に依存しない収束速度をもたらすか？
• RQ3 収束速度は真の密度の滑らかさおよび潜在的分布の有効次元にどのように依存するか？
• RQ4 変数の数が未知であっても、本手法は高次元データにおける関連する変数を自動的に同定・集中できるか？
• RQ5 一般な滑らかさ仮定の下で、高次元におけるヒストグラムベースの密度推定器の理論的性能限界は何か？

主な発見

• 適応的二分木分割に基づくスieves MLEは、$ L^2 $ノルムにおいて収束速度 $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $ を達成する。これは $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $ に簡略化されるが、より正確には $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $ であり、ほぼパラメトリックな性能を示している。
• 収束速度は環境次元 $ p $ ではなく有効次元 $ ilde{p} $ のみに依存し、次元の呪いに強いことを示している。
• $ p $ 次元密度が唯一 $ ilde{p} $ 個の変数に依存する場合、収束速度は $ n^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} $ となり、$ ilde{p} $ が小さい場合にはパラメトリックレート $ n^{-1/2} $ に近く、非常に速い収束を示す。
• 近似誤差は $ I^{-rac{ ilde{p}}{2 ilde{p} + 2 ilde{p}}} ( ext{log } I)^{ ilde{p}/2} $ で有界であり、$ I $ は分割のサイズを表す。これは、真の密度の複雑さに適応できることを示している。
• 非一様ホルダーおよびベソフ空間クラスにおいて、最小最大レート（minimax rate）を対数要因を除いて達成しており、広い非パラメトリッククラスにおいて最適性が確認されている。
• 理論的分析により、本手法が高次元データにおける関連する変数を、有効部分空間の事前知識がなくても自動的に同定・集中できることを確認した。