[论文解读] Inverse Density as an Inverse Problem: The Fredholm Equation Approach

Qichao Que, Mikhail A. Belkin|arXiv (Cornell University)|Apr 20, 2013

Sparse and Compressive Sensing Techniques参考文献 16被引用 9

一句话总结

本文提出了一种基于核函数的框架——FIRE（Fredholm逆正则化估计器），通过将问题建模为第一类弗雷德霍姆积分方程，实现对两个概率密度比 $\frac{q}{p}$ 的估计。通过在再生核希尔伯特空间中应用正则化，该方法实现了有原则性、灵活性和理论基础坚实化的密度比估计，具备可证明的收敛速率和无监督的参数选择能力。

ABSTRACT

In this paper we address the problem of estimating the ratio $\frac{q}{p}$ where $p$ is a density function and $q$ is another density, or, more generally an arbitrary function. Knowing or approximating this ratio is needed in various problems of inference and integration, in particular, when one needs to average a function with respect to one probability distribution, given a sample from another. It is often referred as {\it importance sampling} in statistical inference and is also closely related to the problem of {\it covariate shift} in transfer learning as well as to various MCMC methods. It may also be useful for separating the underlying geometry of a space, say a manifold, from the density function defined on it. Our approach is based on reformulating the problem of estimating $\frac{q}{p}$ as an inverse problem in terms of an integral operator corresponding to a kernel, and thus reducing it to an integral equation, known as the Fredholm problem of the first kind. This formulation, combined with the techniques of regularization and kernel methods, leads to a principled kernel-based framework for constructing algorithms and for analyzing them theoretically. The resulting family of algorithms (FIRE, for Fredholm Inverse Regularized Estimator) is flexible, simple and easy to implement. We provide detailed theoretical analysis including concentration bounds and convergence rates for the Gaussian kernel in the case of densities defined on $\R^d$, compact domains in $\R^d$ and smooth $d$-dimensional sub-manifolds of the Euclidean space. We also show experimental results including applications to classification and semi-supervised learning within the covariate shift framework and demonstrate some encouraging experimental comparisons. We also show how the parameters of our algorithms can be chosen in a completely unsupervised manner.

研究动机与目标

• 解决从样本中已知 $p$ 而 $q$ 为已知函数或另一密度时，估计两个密度比 $\frac{q}{p}$ 的挑战。
• 为重要性采样、协变量偏移和MCMC场景提供统一且理论基础坚实的密度比估计框架。
• 通过正则化和核方法实现模型参数的无监督选择。
• 在 $\mathbb{R}^d$ 和光滑流形等多种几何设定下，建立估计器的收敛速率和浓度界限。
• 通过半监督学习和协变量偏移下的分类实验，证明该方法的有效性。

提出的方法

• 利用核算子将密度比估计问题重新表述为第一类弗雷德霍姆积分方程，其中未知量为 $\frac{q}{p}$，已知侧由 $q$ 的样本导出。
• 在再生核希尔伯特空间（RKHS）中使用核方法和正则化，以稳定不适定逆问题的解。
• 通过求解 $\mathcal{K}_p \frac{q}{p} \approx \mathcal{K}_q \mathbf{1}$ 构建估计器，其中 $\mathcal{K}_p$ 和 $\mathcal{K}_q$ 是基于核平滑的积分算子。
• 对 $p$ 或 $q$ 导出的范数采用 $L_2$ 类型正则化，以控制过拟合并提升泛化性能。
• 使用卷积核（如高斯核）近似狄拉克函数，实现对密度比的局部估计。
• 基于最小化经验风险，实现完全无监督的参数选择策略，无需真实比值数据。

实验结果

研究问题

• RQ1 密度比估计问题能否系统地表述为第一类弗雷德霍姆积分方程？
• RQ2 针对基于核函数的密度比估计器，其收敛速率和样本复杂度可建立哪些理论保证？
• RQ3 在缺乏真实比值数据的情况下，RKHS中的正则化如何提升稳定性与泛化能力？
• RQ4 在 $\mathbb{R}^d$、紧致区域或流形等设定下，该方法在何种情况下可实现最优收敛速率？
• RQ5 该方法能否在半监督学习和协变量偏移场景中有效应用，并实现无监督超参数调优？

主要发现

• FIRE框架在协变量偏移下的半监督学习和分类任务中表现优异，性能优于或匹配KMM、LSIF和TIKDE等方法。
• 在 $p = 0.5N(-2,1^2) + 0.5N(2,0.5^2)$ 与 $q = N(0,0.5^2)$ 的模拟数据集中，当 $|X^p| = 1000$ 时，FIRE的 $L_2$ 误差为 0.277，显示出稳定且精确的估计性能。
• 在第二个模拟实验中，$p = N(0,0.5^2)$ 且 $q = \text{Unif}([-1,1])$，使用高斯核与 $L_2$ 正则化时，FIRE在Type-II设定下达到 $L_2$ 误差 0.277，表明对核函数选择和范数选择具有鲁棒性。
• 理论分析表明，该方法在 $\mathbb{R}^d$、紧致区域以及光滑 $d$ 维子流形上均具有收敛速率，且给出了明确的浓度界限。
• 该方法实现了完全无监督的参数选择，实验结果一致表明无需真实比值数据即可获得良好性能。
• 该框架成功将底层几何结构与密度分离，为流形学习和几何推断提供了应用支持。