[論文レビュー] Density Estimation in Infinite Dimensional Exponential Families

Bharath K. Sriperumbudur, Kenji Fukumizu+3 more|arXiv (Cornell University)|Dec 12, 2013

Markov Chains and Monte Carlo Methods参考文献 41被引用数 25

ひとこと要約

本稿は、計算的に困難な対数パーティション関数を回避するため、Fisher散発度の最小化を用いた無限次元指数型分布族における密度推定法を提案する。推定量は、$ \log p_0 $ に滑らかさの条件が課された下で、Fisher散発度において $ n^{-\min\{\frac{2}{3},\frac{2\beta+1}{2\beta+2}\}} $ の収束速度を達成し、$ p_0 \notin \mathcal{P} $ であっても一貫性を示す。特に高次元において、カーネル密度推定法を上回る性能を発揮する。

ABSTRACT

In this paper, we consider an infinite dimensional exponential family, $\mathcal{P}$ of probability densities, which are parametrized by functions in a reproducing kernel Hilbert space, $H$ and show it to be quite rich in the sense that a broad class of densities on $\mathbb{R}^d$ can be approximated arbitrarily well in Kullback-Leibler (KL) divergence by elements in $\mathcal{P}$. The main goal of the paper is to estimate an unknown density, $p_0$ through an element in $\mathcal{P}$. Standard techniques like maximum likelihood estimation (MLE) or pseudo MLE (based on the method of sieves), which are based on minimizing the KL divergence between $p_0$ and $\mathcal{P}$, do not yield practically useful estimators because of their inability to efficiently handle the log-partition function. Instead, we propose an estimator, $\hat{p}_n$ based on minimizing the \emph{Fisher divergence}, $J(p_0\Vert p)$ between $p_0$ and $p\in \mathcal{P}$, which involves solving a simple finite-dimensional linear system. When $p_0\in\mathcal{P}$, we show that the proposed estimator is consistent, and provide a convergence rate of $n^{-\min\left\{\frac{2}{3},\frac{2β+1}{2β+2} ight\}}$ in Fisher divergence under the smoothness assumption that $\log p_0\in\mathcal{R}(C^β)$ for some $β\ge 0$, where $C$ is a certain Hilbert-Schmidt operator on $H$ and $\mathcal{R}(C^β)$ denotes the image of $C^β$. We also investigate the misspecified case of $p_0 otin\mathcal{P}$ and show that $J(p_0\Vert\hat{p}_n) ightarrow \inf_{p\in\mathcal{P}}J(p_0\Vert p)$ as $n ightarrow\infty$, and provide a rate for this convergence under a similar smoothness condition as above. Through numerical simulations we demonstrate that the proposed estimator outperforms the non-parametric kernel density estimator, and that the advantage with the proposed estimator grows as $d$ increases.

研究の動機と目的

• 標準的なMLEが対数パーティション関数の計算が困難であるために失敗する、無限次元指数型分布族における密度推定の挑戦に対処すること。
• 累積量母関数の直接計算を回避する、計算的に実行可能な推定量の開発。
• 真の対数密度に関する滑らかさ仮定の下で、理論的一貫性と収束速度の確立。
• モデルが正しく指定されている場合と誤って指定されている場合の両方における性能の調査。
• 特に高次元設定において、古典的なカーネル密度推定法を上回る実験的優位性の提示。

提案手法

• 対数パーティション関数の計算を回避するため、Kullback-Leibler散発度の代わりにFisher散発度 $ J(p_0 \| p) $ の最小化を提案する。
• スコアマッチングの原則から導かれる有限次元線形方程式系の解として推定量 $ \hat{p}_n $ を構築する。
• 再生核ヒルベルト空間（RKHS）を用いて無限次元指数型分布族 $ \mathcal{P} $ を定義し、カーネル $ k $ が十分統計量を誘導する。
• 補間空間とヒルベルト＝シュミット作用素 $ C $ を用い、$ \log p_0 \in \mathcal{R}(C^\beta) $ を通じて $ \log p_0 $ の滑らかさを特徴付ける。
• Tikhonov正則化と累積量母関数 $ A(f) $ のFréchet微分を用いて、問題の適切な定式化を保証する。
• スペクトル分解を用いて $ \mathcal{R}(C^\beta) $ と $ \ell_2(I, \alpha^{-2\beta}) $ の同値性を確立し、収束速度の分析に用いる。

実験結果

リサーチクエスチョン

• RQ1 無限次元指数型分布族は、Kullback-Leibler散発度において任意の密度を任意に良く近似できるか？
• RQ2 標準的なMLEが対数パーティション関数の計算が困難であるために実行不可能な状況において、計算的に実行可能な密度推定量を構築できるか？
• RQ3 真の密度に滑らかさ仮定を課した下で、提案された推定量の収束速度はどの程度達成できるか？
• RQ4 真の密度がモデルクラスの外にある場合（誤った指定の場合）に、推定量はどのように振る舞うか？
• RQ5 提案手法は、特に高次元設定において、古典的なカーネル密度推定法を上回るか？

主な発見

• 無限次元指数型分布族 $ \mathcal{P} $ は、$ \mathbb{R}^d $ 上の任意の密度をKullback-Leibler散発度において任意に良く近似できるほど豊かである。
• 真の密度 $ p_0 \in \mathcal{P} $ の下で、Fisher散発度において $ n^{-\min\{\frac{2}{3},\frac{2\beta+1}{2\beta+2}\}} $ の収束速度を達成する、提案された推定量 $ \hat{p}_n $ は一貫性を示す。
• 誤った指定の場合（$ p_0 \notin \mathcal{P} $）においても、Fisher散発度 $ J(p_0 \| \hat{p}_n) $ は同じ滑らかさ条件の下で $ \mathcal{P} $ 上の下界に、同程度の速度で収束する。
• 収束速度は滑らかさパラメータ $ \beta $ に依存し、$ \log p_0 $ が滑らかであるほど速くなる。
• 数値シミュレーションにより、提案された推定量がカーネル密度推定法を上回ることが示され、次元 $ d $ が高くなるほどその優位性が顕著になる。
• スコアマッチングとRKHSにおける線形方程式系の解法を活用することで、対数パーティション関数の直接計算を回避する。