[論文レビュー] Nonparametric method for space conditional density estimation in moderately large dimensions

Minh-Lien Jeanne Nguyen|arXiv (Cornell University)|Jan 19, 2018

Statistical Methods and Inference参考文献 16被引用数 3

ひとこと要約

本稿では、中程度の高次元において条件付き密度推定を行うための貪欲的で非パrametricなカーネルベースの手法を提案する。再設計されたRodeoアルゴリズムを用いて、逐次的に関連する変数とバンド幅を最適化する。$ O(n^{-2p/(2p+r)}) $ の準ミニマックス収束レートを達成するが、関連する変数の早期選択とスパarsityに配慮したバンド幅チューニングにより、計算効率を維持する。

ABSTRACT

In this paper, we consider the problem of estimating a conditional density in moderately large dimensions. Much more informative than regression functions, conditional densities are of main interest in recent methods, particularly in the Bayesian framework (studying the posterior distribution, finding its modes...). Considering a recently studied family of kernel estimators, we select a pointwise multivariate bandwidth by revisiting the greedy algorithm Rodeo (Regularisation Of Derivative Expectation Operator). The method addresses several issues: being greedy and computationally efficient by an iterative procedure, avoiding the curse of high dimensionality under some suitably defined sparsity conditions by early variable selection during the procedure, converging at a quasi-optimal minimax rate.

研究の動機と目的

• 高次元データにおけるスパarsityを活用することで、条件付き密度推定における次元の呪いを軽減すること。
• 関連する変数の数が少ない場合でも、高速な収束レートを維持できる計算効率の高い手法を開発すること。
• 従来のカーネル法が非現実的になる中程度の大きな次元（$ d \gtrsim 3 $）において、点推定による条件付き密度推定を可能にすること。
• スパarsity仮定の下でミニマックス最適または準ミニマックスの収束レート $ O(n^{-2p/(2p+r)}) $ を達成すること。ここで $ r $ は関連する成分の数である。
• 推定プロセスの初期段階で変数選択を統合し、関連のない共変量に対して全次元の計算を回避すること。

提案手法

• 本手法は、多変量カーネル密度推定器において、逐次的に変数選択とバンド幅チューニングを行うために、再設計されたRodeo（Regularisation Of Derivative Expectation Operator）貪欲アルゴリズムを採用する。
• 点ごとのバンド幅選択戦略を用い、共変量ベクトル $ X $ の中で最も関連性の高い成分のみを段階的に特定・保持することで、プロセスの初期段階で次元を低減する。
• カーネル密度推定と、反復的精錬を用いたスパarsity誘導型ペナルティを組み合わせ、微分期待値作用素を用いて顕著な変数を検出する。
• 理論的分析は、推定誤差を制御するための集中不等式とモーメント条件に依存し、特に真の周辺密度と推定された周辺密度の差をバインドする。
• 本手法は $ p $-正則性条件の下で収束を保証し、中程度の次元において計算可能性を維持するためにデュアルツリー加速近似を用いる。
• 適応的バンド幅選択とスパarsity検出を通じてバイアス・バリアンストレードオフを制御することで、オракル型不等式を確立する。

実験結果

リサーチクエスチョン

• RQ1 関連する共変量のサブセットのみが応答に影響する場合、非パラメトリックな条件付き密度推定器は高次元設定においてほぼミニマックスレートを達成できるか？
• RQ2 計算コストを犠牲にせずに推定精度を損なわせないよう、変数選択をバンド幅選択プロセスの初期段階に統合するにはどうすればよいか？
• RQ3 中程度の高次元（$ d \gtrsim 3 $）において、計算効率を維持しながら最適またはほぼ最適な収束レートを達成できるか？
• RQ4 スパarsityの下で、標準的なカーネルバンド幅選択（例：交差検証）と比較して、本手法はスピードと正確性の両面で優れているとまでは言えるか？
• RQ5 Rodeoアルゴリズムは条件付き密度推定に適応可能であり、スパarsityの下で一貫性と高速な収束を保証できるか？

主な発見

• 提案手法は、関連する成分の数 $ r $ を用いて $ O(n^{-2p/(2p+r)}) $ の収束レートを達成する。これはミニマックスフレームワーク下でほぼ最適である。
• 関連変数の早期選択により計算が非常に効率的であり、全次元のバンド幅最適化を回避することで実行時間が著しく短縮される。
• 真の次元 $ d $ が大きくても、内在次元 $ r \ll d $ であれば一貫性を保ち、最適レートを達成する。
• 集中バウンドとモーメント条件を用いた理論的保証により、推定誤差が高確率で制御されることを示した。
• 中程度の高次元における計算スケーラビリティの面で、標準的なカーネルバンド幅選択手法（例：交差検証）を上回る性能を示した。
• 理論的分析により、推定器がオラクル不等式を満たすことが確認された。これは、真のスパース構造が事前に分かっているかのように推定性能を発揮することを意味する。