[论文解读] Lipschitz Parametrization of Probabilistic Graphical Models

Jean Honorio|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 11被引用 4

一句话总结

本文证明了各种概率图模型的对数似然函数关于其参数的lp-范数是Lipschitz连续的。它推导了KL散度、贝叶斯误差和泛化误差的理论界，表明lp-范数正则化可实现模型学习的正则化，并为在基于度量的算法（如聚类和分类）中将参数用作特征提供了理论依据。

ABSTRACT

We show that the log-likelihood of several probabilistic graphical models is Lipschitz continuous with respect to the lp-norm of the parameters. We discuss several implications of Lipschitz parametrization. We present an upper bound of the Kullback-Leibler divergence that allows understanding methods that penalize the lp-norm of differences of parameters as the minimization of that upper bound. The expected log-likelihood is lower bounded by the negative lp-norm, which allows understanding the generalization ability of probabilistic models. The exponential of the negative lp-norm is involved in the lower bound of the Bayes error rate, which shows that it is reasonable to use parameters as features in algorithms that rely on metric spaces (e.g. classification, dimensionality reduction, clustering). Our results do not rely on specific algorithms for learning the structure or parameters. We show preliminary results for activity recognition and temporal segmentation.

研究动机与目标

• 建立概率图模型对数似然函数关于参数范数的Lipschitz连续性的理论条件。
• 推导KL散度的上界，以证明在参数估计中使用lp-范数正则化的合理性。
• 将参数的负lp-范数与泛化误差的下界联系起来，揭示其理论意义。
• 为在聚类和分类等基于度量空间的算法中使用模型参数作为特征提供理论基础。
• 通过在动作识别和时序分割任务中的初步实验，展示这些边界的实际应用价值。

提出的方法

• 在较弱的正则性条件下，证明若干PGM的对数似然函数在参数的lp-范数下是Lipschitz连续的。
• 基于参数差异的lp-范数，推导两个概率分布之间KL散度的上界。
• 利用参数的负lp-范数，建立期望对数似然的下界，并将其与泛化性能关联。
• 证明负lp-范数的指数形式出现在贝叶斯误差率的下界中，支持其在学习算法中作为度量的使用。
• 利用这些理论结果，为lp-范数正则化以及在基于度量的学习任务中使用参数作为特征提供理论依据。
• 通过在动作识别和时序分割任务上的实证结果验证理论，展示该参数化框架的实际有效性。

实验结果

研究问题

• RQ1 在何种条件下，概率图模型的对数似然函数关于其参数的lp-范数是Lipschitz连续的？
• RQ2 如何利用参数差异的lp-范数来界定两个分布之间的KL散度？
• RQ3 参数的负lp-范数与概率模型的泛化误差之间存在何种关系？
• RQ4 负lp-范数的指数形式在分类任务的贝叶斯误差率中如何体现？
• RQ5 在聚类或降维等基于度量空间的算法中，模型参数在多大程度上可被有意义地用作特征？

主要发现

• 若干概率图模型的对数似然函数关于其参数的lp-范数是Lipschitz连续的，从而支持对学习稳定性的理论分析。
• 推导出两个分布之间KL散度的上界，其依赖于参数差异的lp-范数。
• 期望对数似然的下界由参数的负lp-范数给出，为学习中的lp-正则化提供了理论依据。
• 负lp-范数的指数形式出现在贝叶斯误差率的下界中，支持将lp-范数作为模型可分性的度量。
• 该理论框架为在基于度量的算法（如分类和聚类）中使用模型参数作为特征提供了理论支持。
• 在动作识别和时序分割任务中的初步实验表明，所提出的参数化方法具有实际可行性。