[論文レビュー] High-Dimensional Density Ratio Estimation with Extensions to Approximate Likelihood Computation

Rafael Izbicki, Ann B. Lee+1 more|arXiv (Cornell University)|Apr 28, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用数 11

ひとこと要約

本稿では、カーネルに基づく作用素の固有関数を用いて、次元削減を明示的に行わずにデータの内在的幾何構造を適応的に捉えることで、高次元密度比推定のためのスペクトル級数推定量を提案する。この手法により、解析的形が得られない複雑な生成プロセスを有する科学的データにおいても、理論的収束速度保証と実験的妥当性を伴う、高次元で尤度関数が得られない推論設定における尤度の正確な近似が可能となる。

ABSTRACT

The ratio between two probability density functions is an important component of various tasks, including selection bias correction, novelty detection and classification. Recently, several estimators of this ratio have been proposed. Most of these methods fail if the sample space is high-dimensional, and hence require a dimension reduction step, the result of which can be a significant loss of information. Here we propose a simple-to-implement, fully nonparametric density ratio estimator that expands the ratio in terms of the eigenfunctions of a kernel-based operator; these functions reflect the underlying geometry of the data (e.g., submanifold structure), often leading to better estimates without an explicit dimension reduction step. We show how our general framework can be extended to address another important problem, the estimation of a likelihood function in situations where that function cannot be well-approximated by an analytical form. One is often faced with this situation when performing statistical inference with data from the sciences, due the complexity of the data and of the processes that generated those data. We emphasize applications where using existing likelihood-free methods of inference would be challenging due to the high dimensionality of the sample space, but where our spectral series method yields a reasonable estimate of the likelihood function. We provide theoretical guarantees and illustrate the effectiveness of our proposed method with numerical experiments.

研究の動機と目的

• 次元の呪いにより従来の手法が失敗する高次元データにおける密度比推定の課題に取り組む。
• 明示的な次元削減を要する既存手法の限界を克服し、情報損失を回避する。
• 高次元データの内在的低次元構造を活用する非パラメトリックで幾何構造に適応する推定量を構築する。
• 解析的形が得られない状況においても、尤度関数の近似を可能とするフレームワークを拡張する。特に、複雑な生成プロセスを有する科学的データに応用する。
• 標準的な正則性仮定の下での理論的収束速度を提供するとともに、交差検証と外挿拡張による実用的実装を提示する。

提案手法

• カーネルに基づく積分作用素 $\mathbf{K}_{\mathbf{x}}$ の固有関数 $\psi_j$ を用いて、密度比 $\beta(\mathbf{x}) = f(\mathbf{x})/g(\mathbf{x})$ を展開する。これらの固有関数は、元のデータ分布 $G$ に関して正規直交である。
• 固有関数をデータの部分多様体構造に適合したフーリエ的基底として用い、明示的な次元削減を伴わずに滑らかな近似を可能にする。
• 推定量を切り捨てスペクトル級数 $\widehat{\beta}_J(\mathbf{x}) = \sum_{j=1}^J \hat{c}_j \psi_j(\mathbf{x})$ として定式化し、係数 $\hat{c}_j$ は最小二乗法によりデータから推定する。
• 交差検証を用いて切り捨てレベル $J$ を選択し、バイアスと分散の最適なトレードオフを達成する。
• 尤度関数の近似へ応用するため、尤度を $\mathcal{L}(\mathbf{x};\theta) = f(\mathbf{x}|\theta)/g(\mathbf{x})$ として再定義し、密度比推定問題に還元する。
• $\mathbf{x}$ 空間と $\theta$ 空間に別々のスペクトル展開を適用し、それぞれ異なるカーネルと固有関数 $\psi_j$ および $\phi_i$ を用いて、同時尤度表面をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 明示的な次元削減を要しない高次元設定でも良好に機能する非パラメトリック密度比推定量を開発できるか？
• RQ2 高次元データの内在的幾何構造（例えば部分多様体構造）をどのように活用することで、密度比推定を改善できるか？
• RQ3 このスペクトル級数アプローチは、複雑な科学的モデルにおける尤度関数の近似をどの程度正確に可能にするか？
• RQ4 標準的な正則性仮定の下で、提案されたスペクトル級数推定量の理論的収束速度は何か？
• RQ5 カーネルの選択、固有値の減衰、固有値ギャップ構造の各要因が、この手法の性能にどのように影響するか？

主な発見

• 正則性条件の下で、スペクトル級数推定量 $\widehat{\beta}_J(\mathbf{x})$ は収束速度 $O_P(n^{-2\alpha/(8\alpha+3)})$ を達成する。ここで $\alpha > 1/2$ は固有値減衰 $\lambda_J \asymp J^{-2\alpha}$ を制御する。
• 推定量の誤差は $J \cdot \left[ O_P(1/n_F) + O_P(1/(\lambda_J \Delta_J^2 n_G)) \right] + c_{K_{\mathbf{x}}} O(\lambda_J) $ で有界であり、$\Delta_J = \min_{1\leq j\leq J} |\lambda_j - \lambda_{j+1}|$ である。
• 滑ららかな関数（$c_{K_{\mathbf{x}}}$ が小さい）は低いバイアスをもたらし、固有関数基底を通じてデータの内在次元に適応する。
• 本手法は外挿拡張を可能とし、一部のRKHSベース手法とは異なり、交差検証による根拠に基づくチューニングを可能にする。
• 尤度近似フレームワークは $\mathcal{L}(\mathbf{x};\theta) = f(\mathbf{x}|\theta)/g(\mathbf{x})$ を再定義し、事後分布の形状を保持し、最尤推定とベイズ推論を可能にする。
• 同時尤度推定量 $\widehat{\mathcal{L}}_{I,J}$ は、$\mathbf{x}$-空間および $\theta$-空間の固有関数を含む類似の誤差バインディングを有し、同様の収束速度を示す。