[论文解读] A submodular-supermodular procedure with applications to discriminative structure learning

Mukund Narasimhan, Jeff Bilmes|arXiv (Cornell University)|Jul 4, 2012

Complexity and Algorithms in Graphs参考文献 3被引用 40

一句话总结

本文提出了一种子模-超模算法（SSP），用于最小化两个子模函数的差值，该方法基于凹-凸规划程序（CCCP）的变分扩展。该方法可实现复杂度约束下的判别性图模型与特征选择的高效学习，在合成数据上显著优于生成模型，尤其在以EAR指标衡量的判别能力方面表现出显著性能提升。

ABSTRACT

In this paper, we present an algorithm for minimizing the difference between two submodular functions using a variational framework which is based on (an extension of) the concave-convex procedure [17]. Because several commonly used metrics in machine learning, like mutual information and conditional mutual information, are submodular, the problem of minimizing the difference of two submodular problems arises naturally in many machine learning applications. Two such applications are learning discriminatively structured graphical models and feature selection under computational complexity constraints. A commonly used metric for measuring discriminative capacity is the EAR measure which is the difference between two conditional mutual information terms. Feature selection taking complexity considerations into account also fall into this framework because both the information that a set of features provide and the cost of computing and using the features can be modeled as submodular functions. This problem is NP-hard, and we give a polynomial time heuristic for it. We also present results on synthetic data to show that classifiers based on discriminative graphical models using this algorithm can significantly outperform classifiers based on generative graphical models.

研究动机与目标

• 开发一种多项式时间启发式算法，用于最小化两个子模函数的差值，该问题出现在判别性结构学习与特征选择中。
• 解决在计算资源受限条件下判别性图模型学习与特征选择的NP难问题。
• 提供一种可扩展的优化框架，适用于互信息与条件互信息等固有子模的度量。
• 通过学习优于生成模型的判别性结构，提升分类性能。
• 在合成数据上验证所提算法的有效性，展示判别能力的可测量提升。

提出的方法

• 该算法基于凹-凸规划程序（CCCP）的扩展，采用变分公式，用于最小化两个子模函数的差值。
• 通过迭代优化差值的凸上界代理函数，利用子模函数的性质实现可处理的更新。
• 该方法利用了互信息与计算成本均可建模为子模函数的事实，实现联合优化。
• 通过最大化EAR度量（定义为两个条件互信息项的差值）来学习判别性图模型。
• 采用贪心近似策略处理问题的NP难性质，确保多项式时间复杂度。
• 通过在合成数据上的实验验证算法，比较判别性与生成模型的性能。

实验结果

研究问题

• RQ1 能否在机器学习应用中开发一种多项式时间算法，用于最小化两个子模函数的差值？
• RQ2 与生成模型相比，子模-超模算法在提升判别性结构学习方面有多有效？
• RQ3 子模优化在多大程度上可用于在特征选择中平衡特征效用与计算成本？
• RQ4 所提方法是否在EAR指标上实现更优性能，该指标是判别能力的关键度量？
• RQ5 该算法能否在保持理论保证的前提下，有效扩展至高维问题？

主要发现

• 基于所提SSP算法学习的判别性图模型构建的分类器，在合成数据上显著优于基于生成模型的分类器。
• 作为判别能力度量的EAR指标，通过子模-超模优化框架得到有效最大化。
• 该方法为在复杂度约束下具有NP难性质的特征选择问题提供了一种可扩展的启发式方法，平衡信息增益与计算成本。
• 该算法展现出强劲的实证性能，在分类准确率方面相对于基线生成模型有可测量的提升。
• CCCP的变分扩展使得子模函数差值的最小化更加有效，从而为结构学习开辟了新应用。
• 该框架具有通用性，适用于任何将效用与成本均建模为子模函数的问题。