[論文レビュー] Fast Nonparametric Conditional Density Estimation

Michael P. Holmes, Alexander Gray+1 more|arXiv (Cornell University)|Jun 20, 2012

Data Management and Algorithms参考文献 10被引用数 37

ひとこと要約

本稿では、最尤法による帯域幅選択を高速化する二重木アルゴリズムを用いた二重カーネルアプローチにより、条件付き密度推定のための高速で非パrametricな手法を提案する。最大380万倍の高速化を達成し、スローン・デジタル・スカイ・サーベイの赤方偏移予測タスクを含む、高次元多変量データへのスケーラブルな応用を初めて可能にする。

ABSTRACT

Conditional density estimation generalizes regression by modeling a full density f(yjx) rather than only the expected value E(yjx). This is important for many tasks, including handling multi-modality and generating prediction intervals. Though fundamental and widely applicable, nonparametric conditional density estimators have received relatively little attention from statisticians and little or none from the machine learning community. None of that work has been applied to greater than bivariate data, presumably due to the computational difficulty of data-driven bandwidth selection. We describe the double kernel conditional density estimator and derive fast dual-tree-based algorithms for bandwidth selection using a maximum likelihood criterion. These techniques give speedups of up to 3.8 million in our experiments, and enable the first applications to previously intractable large multivariate datasets, including a redshift prediction problem from the Sloan Digital Sky Survey.

研究の動機と目的

• 高次元設定における条件付き密度推定のためのスケーラブルな非パrametric手法の不足に対処すること。
• 多変量条件付き密度推定におけるデータ駆動型帯域幅選択の計算ボトルネックを克服すること。
• 大規模で現実世界の多変量データセットへの非パrametricな条件付き密度推定の実用的応用を可能にすること。
• 統計的精度を維持しながら計算時間を大幅に削減する効率的なアルゴリズムの開発。
• 赤方偏移予測のような複雑な高次元問題への本手法の実用性を示すこと。

提案手法

• パラメトリックな仮定なしに f(y|x) をモデル化する非パrametric的手法として、二重カーネル条件付き密度推定器を提案する。
• 推定精度の向上を図るため、データ駆動型帯域幅選択のための最尤基準を採用する。
• カーネル密度推定および帯域幅選択の計算を高速化するために、二重木アルゴリズムを活用する。
• k-d 樹木やボールツリーなどの空間分割木を用いて、カーネル和の計算複雑度を低減する。
• 木構造内での高速乗法的類似技術を適用し、カーネル和の近似を効率的に実行する。
• 木構造における幾何的スパarsityと階層的分解を活用することで、高次元データへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元多変量データに対して、非パrametricな条件付き密度推定が計算的に実行可能になるか。
• RQ2 二重カーネル推定器における帯域幅選択を、統計的精度を損なわず高速化できるか。
• RQ3 二重木アルゴリズムを用いた条件付き密度推定の帯域幅選択で、どの程度の高速化が達成できるか。
• RQ4 本手法が、2つ以上の変数を有する現実世界の大規模データセットに成功裏に適用可能か。
• RQ5 高次元データにおいて、速度と推定品質の両面で、既存の手法を上回る性能を示せるか。

主な発見

• 提案された二重木ベースの帯域幅選択は、単純計算と比較して最大380万倍の高速化を達成した。
• 本手法により、スローン・デジタル・スカイ・サーベイの赤方偏移予測タスクを含む、高次元多変量データセットへの非パrametricな条件付き密度推定の実用的応用が初めて可能になった。
• 二重カーネル推定器は、パラメトリックモデルが見逃す可能性のある複雑で多峰性を持つ条件付き密度を効果的に捉えた。
• 帯域幅選択に最尤基準を用いることで、ヒューリスティック的または固定帯域幅アプローチと比較して、推定精度が向上した。
• アルゴリズムは2つ以上の入力変数を有するデータセットに対しても効果的にスケーリングでき、従来の非パrametric手法の主要な制限を克服した。
• 実験結果から、実行時間の大幅な削減と高い予測精度を両立しており、実世界の応用に実用的であることが示された。