[论文解读] High-Dimensional Density Ratio Estimation with Extensions to Approximate Likelihood Computation

Rafael Izbicki, Ann B. Lee+1 more|arXiv (Cornell University)|Apr 28, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用 11

一句话总结

该论文提出了一种基于核积分算子特征函数的谱级数估计器，用于高维密度比估计，能够自适应地捕捉数据的内在几何结构，而无需显式降维。该方法在高维、似然不可用的推断场景中实现了精确的似然近似，具有收敛速率的理论保证，并在复杂数据上得到了经验验证。

ABSTRACT

The ratio between two probability density functions is an important component of various tasks, including selection bias correction, novelty detection and classification. Recently, several estimators of this ratio have been proposed. Most of these methods fail if the sample space is high-dimensional, and hence require a dimension reduction step, the result of which can be a significant loss of information. Here we propose a simple-to-implement, fully nonparametric density ratio estimator that expands the ratio in terms of the eigenfunctions of a kernel-based operator; these functions reflect the underlying geometry of the data (e.g., submanifold structure), often leading to better estimates without an explicit dimension reduction step. We show how our general framework can be extended to address another important problem, the estimation of a likelihood function in situations where that function cannot be well-approximated by an analytical form. One is often faced with this situation when performing statistical inference with data from the sciences, due the complexity of the data and of the processes that generated those data. We emphasize applications where using existing likelihood-free methods of inference would be challenging due to the high dimensionality of the sample space, but where our spectral series method yields a reasonable estimate of the likelihood function. We provide theoretical guarantees and illustrate the effectiveness of our proposed method with numerical experiments.

研究动机与目标

• 解决高维数据中密度比估计的挑战，传统方法因维度灾难而失效。
• 克服现有方法依赖显式降维的局限性，后者可能导致显著的信息损失。
• 开发一种非参数、几何自适应的估计器，利用高维数据的内在低维结构。
• 将框架扩展至在解析形式难以获得的场景中近似似然函数，尤其适用于具有复杂生成过程的科学数据。
• 提供理论收敛速率，并通过交叉验证和样本外扩展实现实际应用。

提出的方法

• 将密度比 $\beta(\mathbf{x}) = f(\mathbf{x})/g(\mathbf{x})$ 展开为基于核积分算子 $\mathbf{K}_{\mathbf{x}}$ 的特征函数 $\psi_j$，这些特征函数相对于基础数据分布 $G$ 是正交的。
• 将特征函数用作适应数据子流形结构的类似傅里叶基，实现在无需显式降维情况下的平滑近似。
• 将估计器表述为截断谱级数 $\widehat{\beta}_J(\mathbf{x}) = \sum_{j=1}^J \hat{c}_j \psi_j(\mathbf{x})$，其中系数 $\hat{c}_j$ 通过最小二乘法从数据中估计。
• 通过交叉验证选择截断阶数 $J$，以确保偏差-方差权衡的最优。
• 通过将似然函数重定义为 $\mathcal{L}(\mathbf{x};\theta) = f(\mathbf{x}|\theta)/g(\mathbf{x})$，将方法扩展至似然近似，从而将问题转化为密度比估计。
• 在 $\mathbf{x}$ 和 $\theta$ 空间中分别使用独立的谱展开，采用不同的核函数和特征函数 $\psi_j$ 与 $\phi_i$，以建模联合似然曲面。

实验结果

研究问题

• RQ1 能否开发一种在高维设置下表现良好的非参数密度比估计器，而无需显式降维？
• RQ2 如何利用高维数据的内在几何结构（如子流形结构）来改进密度比估计？
• RQ3 该谱级数方法在复杂科学模型的似然不可用推断中，能在多大程度上实现精确的似然近似？
• RQ4 在标准正则性假设下，所提出的谱级数估计器的理论收敛速率如何？
• RQ5 该方法的性能在多大程度上依赖于核函数选择、特征值衰减速率和特征值间距结构？

主要发现

• 在正则性条件下，谱级数估计器 $\widehat{\beta}_J(\mathbf{x})$ 的收敛速率为 $O_P(n^{-2\alpha/(8\alpha+3)})$，其中 $\alpha > 1/2$ 控制特征值衰减 $\lambda_J \asymp J^{-2\alpha}$。
• 估计器的误差被限制为 $J \cdot \left[ O_P(1/n_F) + O_P(1/(\lambda_J \Delta_J^2 n_G)) \right] + c_{K_{\mathbf{x}}} O(\lambda_J) $，其中 $\Delta_J = \min_{1\leq j\leq J} |\lambda_j - \lambda_{j+1}|$。
• 更平滑的函数（更小的 $c_{K_{\mathbf{x}}}$）可降低偏差，且该方法通过特征函数基自适应于数据的内在维度。
• 该方法支持样本外扩展，并可通过交叉验证实现合理调参，而某些再生核希尔伯特空间（RKHS）方法不具备此特性。
• 似然近似框架将 $\mathcal{L}(\mathbf{x};\theta) = f(\mathbf{x}|\theta)/g(\mathbf{x})$ 重新定义，保持后验形状，支持最大似然估计和贝叶斯推断。
• 联合似然估计器 $\widehat{\mathcal{L}}_{I,J}$ 的误差界类似，涉及 $\mathbf{x}$-空间和 $\theta$-空间的特征函数，且具有类似的收敛速率。