[论文解读] Kernel Exponential Family Estimation via Doubly Dual Embedding

Bo Dai, Hanjun Dai+4 more|arXiv (Cornell University)|Nov 6, 2018

Statistical Methods and Inference参考文献 38被引用 3

一句话总结

本文提出了一种新颖的方法——双重对偶嵌入（Doubly Dual Embedding, DDE），用于核指数族估计，通过利用双重对偶嵌入的鞍点重 formulation，避免了难以计算的归一化常数计算和蒙特卡洛采样。该方法在保持更优内存与时间效率、更强的统计收敛速率以及更快推理速度的同时，实现了当前最优的性能表现，通过并行学习一个灵活且可计算的采样器实现。

ABSTRACT

We investigate penalized maximum log-likelihood estimation for exponential family distributions whose natural parameter resides in a reproducing kernel Hilbert space. Key to our approach is a novel technique, doubly dual embedding, that avoids computation of the partition function. This technique also allows the development of a flexible sampling strategy that amortizes the cost of Monte-Carlo sampling in the inference stage. The resulting estimator can be easily generalized to kernel conditional exponential families. We establish a connection between kernel exponential family estimation and MMD-GANs, revealing a new perspective for understanding GANs. Compared to the score matching based estimators, the proposed method improves both memory and time efficiency while enjoying stronger statistical properties, such as fully capturing smoothness in its statistical convergence rate while the score matching estimator appears to saturate. Finally, we show that the proposed estimator empirically outperforms state-of-the-art

研究动机与目标

• 解决无限维指数族估计中归一化常数计算的计算不可行性以及蒙特卡洛采样的问题。
• 克服得分匹配估计器在高维设置下高内存与时间成本的问题。
• 提出一种惩罚最大似然估计框架，避免计算核函数的导数，同时保持统计一致性。
• 通过同时学习参数化采样器与密度函数，将核指数族估计与生成建模统一起来。
• 在模型正确设定的情况下，建立一致性与算法收敛性的理论保证。

提出的方法

• 提出一种新颖的双重对偶嵌入技术，将惩罚最大似然估计重 formulation 为一个鞍点问题，从而避免计算难以处理的归一化常数。
• 利用 Fenchel 对偶性对指数族密度进行对偶表示，实现在无需显式计算密度的情况下对对偶空间进行优化。
• 推导出一种随机优化算法，通过交替更新原始参数与对偶参数，实现无需蒙特卡洛采样的高效训练。
• 同时学习一个灵活的参数化采样器，以摊销推理成本，从而在测试阶段无需使用 HMC 或 MCMC。
• 在对偶空间中引入 Tikhonov 正则化项，以确保优化过程的稳定性和收敛性。
• 通过将条件密度建模为具有输入相关自然参数的核指数族，将该框架扩展至条件指数族。

实验结果

研究问题

• RQ1 我们能否通过使用对偶公式化，在无限维指数族估计中避免计算归一化常数？
• RQ2 我们能否在保持统计精度的同时，消除推理过程中对蒙特卡洛采样的依赖？
• RQ3 所提出的方法在平滑密度估计中是否相比得分匹配展现出更优的统计收敛速率？
• RQ4 所学习的对偶参数能否用于构建一个可计算且高效的采样器以支持下游推理？
• RQ5 在内存、时间与统计性能方面，该方法与当前最先进的得分匹配和基于最大似然估计的方法相比如何？

主要发现

• 在合成数据集上，所提出的 DDE 估计器相比 KEF 和 KEF+HMC，MMD 值显著降低（最高达 10 倍），且推理时间更短。
• 在基准条件密度估计任务中，DDE 在十二个数据集中的六个上优于基于得分匹配的 KCEF 方法，负对数似然更低，即使使用更简单的各向同性 RBF 核函数。
• 通过 Nyström 近似，时间复杂度从得分匹配的 O(n³d³) 降低至 O(nmd²)，同时避免了导数计算。
• DDE 估计器实现了更快的收敛速率，能完全捕捉光滑性特征，而得分匹配方法似乎出现饱和。
• 所学习的采样器使推理无需 HMC，如表 1 所示，推理时间降低了数量级。
• 理论分析证实，在真实密度属于核指数族的正确设定假设下，估计器具有一致性与算法收敛性。