[論文レビュー] Forest Density Estimation

Han Liu, Min Xu+4 more|arXiv (Cornell University)|Jan 10, 2010

Bayesian Modeling and Causal Inference参考文献 28被引用数 81

ひとこと要約

本稿では、高次元データに対する非パラメトリックなフォレスト密度推定法を提案する。この手法は、単変量および二変量周辺分布のカーネル密度推定を用い、保留データ上でクルスカルのアルゴリズムを適用して最適なフォレストを構築する。真の密度がホルダー滑らかさを満たす条件下で、過剰リスクが $ O_P\left(\sqrt{\log(nd)}\left(\frac{k^* + \hat{k}}{n^{\beta/(2+2\beta)}} + \frac{d}{n^{\beta/(1+2\beta)}}\right)\right) $ で有界であることを示すオракル不等式を確立し、統計的整合性を証明する。

ABSTRACT

We study graph estimation and density estimation in high dimensions, using a family of density estimators based on forest structured undirected graphical models. For density estimation, we do not assume the true distribution corresponds to a forest; rather, we form kernel density estimates of the bivariate and univariate marginals, and apply Kruskal's algorithm to estimate the optimal forest on held out data. We prove an oracle inequality on the excess risk of the resulting estimator relative to the risk of the best forest. For graph estimation, we consider the problem of estimating forests with restricted tree sizes. We prove that finding a maximum weight spanning forest with restricted tree size is NP-hard, and develop an approximation algorithm for this problem. Viewing the tree size as a complexity parameter, we then select a forest using data splitting, and prove bounds on excess risk and structure selection consistency of the procedure. Experiments with simulated data and microarray data indicate that the methods are a practical alternative to Gaussian graphical models.

研究の動機と目的

• ガウス性を仮定しない非パラメトリックな高次元密度推定手法の開発。
• フォレスト構造を持つ無向グラフィカルモデルを用いて、分布のグラフィカル構造を推定すること。
• 提案された推定量について、リスクの一貫性および構造選択の一貫性を理論的に確立すること。
• 保留データを用いたデータ分割により、高次元における過剰適合を回避し、最適なフォレスト構造を選択すること。
• 理論的裏付けを持つ実用的代替手法として、ガウスグラフィカルモデルの代替を提供すること。

提案手法

• 訓練データのサブセット上で、単変量および二変量周辺密度をカーネル密度推定量を用いて推定する。
• 保留データを用いて変数ペア間の経験的相互情報量を計算し、エッジ重みを形成する。
• 相互情報量行列に対してクルスカルのアルゴリズムを適用し、最大重みスパニングフォレストを構築する。
• データ分割を用いる：周辺密度を1つの分割で訓練し、2番目の保留データでフォレストを構築して過剰適合を回避する。
• 木のサイズを複雑さのパラメータとみなし、保留リスクの最小化により最適なフォレストを特定する。
• 真の密度がホルダー滑らかさを満たす条件と、カーネルの条件のもとで理論的性質を証明する。

実験結果

リサーチクエスチョン

• RQ1 ガウス性を仮定しない非パラメトリックな密度推定量が、高次元においてフォレスト構造を持つグラフィカルモデルでリスクの一貫性を達成できるか。
• RQ2 提案された推定量の過剰リスクは、最良のフォレストモデルに対してどの程度か。
• RQ3 標本サイズが増加するにつれて、選択されたフォレスト構造は真のグラフ構造と一貫しているか。
• RQ4 推定精度および構造回復の観点で、ガウスグラフィカルモデルと比較して本手法はどのように性能を発揮するか。
• RQ5 制限付き木サイズを持つ最大重みスパニングフォレストの問題は、効率的に解けるか。その性能に対する理論的限界は何か。

主な発見

• 提案された推定量の過剰リスクは、最良のフォレストに対するものとして $ O_P\left(\sqrt{\log(nd)}\left(\frac{k^* + \hat{k}}{n^{\beta/(2+2\beta)}} + \frac{d}{n^{\beta/(1+2\beta)}}\right)\right) $ で有界であり、ホルダー滑らかさのもとでリスクの一貫性が確立された。
• 構造選択の一貫性が証明された：標本サイズが増加するにつれて、高い確率で真のフォレスト構造が正しく回復される。
• 制限付き木サイズを持つ最大重みスパニングフォレストの探索はNP困難であるが、本稿では理論的保証を伴う近似アルゴリズムを提供する。
• 本手法は、真の分布が非ガウス的である場合に、シミュレーションおよびマイクロアレイデータの両方でガウスグラフィカルモデルを上回る性能を発揮する。
• 計算複雑度は $ O(m^2 n_1 d^2) $ であり、事前計算とループ再配置により冗長な演算を削減した最適化実装が可能である。
• 理論的分析により、カーネル密度推定量および相互情報量行列の推定の一貫性が、標準的な滑らかさおよびカーネル条件のもとで確認された。