[论文解读] Learning deep kernels for exponential family densities

Li Kevin Wenliang, Danica J. Sutherland+2 more|arXiv (Cornell University)|Nov 20, 2018

Gaussian Processes and Bayesian Inference参考文献 36被引用 10

一句话总结

该论文提出了一种深度核指数族（DKEF），通过深度神经网络学习核函数，以自适应地捕捉局部数据几何结构，从而实现灵活的概率密度估计。通过使用基于学习到的、与位置相关的核函数的得分匹配方法，DKEF在复杂、多模态或非独立同分布的数据结构上，相较于基于最大似然的深度密度模型，展现出更优的形状建模能力和梯度估计性能。

ABSTRACT

The kernel exponential family is a rich class of distributions, which can be fit efficiently and with statistical guarantees by score matching. Being required to choose a priori a simple kernel such as the Gaussian, however, limits its practical applicability. We provide a scheme for learning a kernel parameterized by a deep network, which can find complex location-dependent local features of the data geometry. This gives a very rich class of density models, capable of fitting complex structures on moderate-dimensional problems. Compared to deep density models fit via maximum likelihood, our approach provides a complementary set of strengths and tradeoffs: in empirical studies, the former can yield higher likelihoods, whereas the latter gives better estimates of the gradient of the log density, the score, which describes the distribution's shape.

研究动机与目标

• 为克服核指数族中固定、空间不变核函数的局限性，这些核函数在复杂、多模态数据结构上无法自适应调整。
• 通过使用保留损失的元学习方案，实现核参数与正则化超参数的端到端联合学习。
• 改进对得分（对数密度梯度）的估计，这对于建模分布形状至关重要，尤其是在高曲率或分离组件区域。
• 通过结合核方法与深度特征学习的优势，提供一种实用且可扩展的替代方案，以替代基于最大似然的深度密度模型。

提出的方法

• 将核函数参数化为 $ k(\bm{x}, \bm{y}) = \tilde{\rho}(\bm{\theta}(\bm{x}), \bm{\theta}(\bm{y})) $，其中 $ \bm{\theta} $ 是一个深度神经网络，用于提取与位置相关的特征。
• 使用得分匹配进行模型训练，最小化真实与预测得分函数之间的期望平方差：$ J = \frac{1}{2} \bb{E}_{p_0} \norm{\nabla \tilde{p} - \nabla p}^2 $。
• 利用保留损失优化深度网络权重与正则化参数，从而实现从数据中元学习平滑性假设。
• 在深度特征上应用高斯核，构建一种灵活且自适应的核函数，使其在输入空间的不同区域可变长度尺度。
• 使用随机梯度下降在得分匹配目标上训练模型，通过自动微分支持梯度计算。
• 使用FSSD（全尺度Sobolev偏差）和KSD（核化Stein差异）作为基于形状的评估指标，以评估学习到的密度形状的保真度。

实验结果

研究问题

• RQ1 能否使用深度神经网络对核指数族中的核函数进行参数化，以更好地捕捉复杂且与位置相关的数据几何结构？
• RQ2 通过得分匹配联合学习核函数与正则化参数，是否能相比基于最大似然的深度密度模型，实现更优的得分函数估计？
• RQ3 在具有尖锐特征、分离组件或非高斯结构的数据集上，DKEF模型的表现如何，这些情况是标准归一化流模型所难以处理的？
• RQ4 模型能否从数据中学习平滑性假设，从而在无需显式最大化似然的情况下，提升泛化能力并减少密度估计中的伪影？
• RQ5 与基于似然的深度密度模型相比，DKEF在似然性能与得分估计准确性之间存在何种权衡？

主要发现

• 在复杂形状（如Ring、Square和Cosine）上，DKEF的Fisher散度和FSSD值显著低于基于似然的模型，表明其在形状建模方面表现更优。
• 在UCI基准数据集（RedWine、WhiteWine、Parkinson、HepMass、MiniBoone）上，DKEF在FSSD（得分准确性全局度量）上始终位列前茅，且在更大测试集上，模型比较结果明确支持DKEF。
• 尽管基于似然的模型在部分数据集上获得更高的对数似然值，但DKEF生成了更优的梯度估计，表现为更低的FSSD和KSD值，尤其在高曲率或不连续区域表现更佳。
• 在具有分离组件的多模态分布上，DKEF成功捕捉了各模式的形状，但模式加权仍不稳定；结合谱聚类的混合模型可进一步提升性能。
• 随着模型拟合程度提高，目标函数估计器 $ \tilde{J} $ 的噪声增大，尤其在Square等尖锐特征上，导致梯度方差升高，优化难度增加。
• 训练过程中加入高斯噪声（σ = 0.05）可改善得分匹配损失并稳定优化过程，但会损害似然性能——表明形状保真度与似然最大化之间存在权衡。