[论文解读] Learning Submodular Functions

Maria-Florina Balcan, Nicholas J. A. Harvey|arXiv (Cornell University)|Aug 12, 2010

Benford’s Law and Fraud Detection被引用 4

一句话总结

本文提出了用于子模函数的学习理论算法，建立了高效的学习方法及其可学习性的理论极限。研究揭示了新的结构性质——如极端行为和规律性——为机器学习、优化和经济学中的应用提供了基础性洞见。

ABSTRACT

Abstract. Submodular functions are discrete functions that model laws of diminishing returns and enjoy numerous algorithmic applications that have been used in many areas, including combinatorial optimization, machine learning, and economics. In this work we use a learning theo-retic angle for studying submodular functions. We provide algorithms for learning submodular functions, as well as lower bounds on their learn-ability. In doing so, we uncover several novel structural results revealing both extremal properties as well as regularities of submodular functions, of interest to many areas. Submodular functions are a discrete analog of convex functions that enjoy numerous applications and have structural properties that can be exploited al-gorithmically. They arise naturally in the study of graphs, matroids, covering problems, facility location problems, etc., and they have been extensively studied in operations research and combinatorial optimization for many years [8]. More recently submodular functions have become key concepts both in the machine

研究动机与目标

• 基于学习理论框架，开发从数据中学习子模函数的高效算法。
• 建立子模函数可学习性的理论下界。
• 揭示子模函数的新结构性质，包括极端行为和规律性。
• 弥合学习理论中的理论洞见与组合优化及机器学习中的算法应用之间的鸿沟。
• 深化对子模函数表示能力和计算极限的理解。

提出的方法

• 提出一种基于学习理论的方法，通过样本估计来建模子模函数。
• 采用分布无关的学习技术，推导子模函数类的泛化界。
• 通过将子模函数与凸函数及离散子模性关联，分析其学习复杂度。
• 通过子集上函数行为的组合与信息论分析，推导结构性结果。
• 利用极值组合学识别子模函数中的最坏情况场景与规律性模式。
• 通过信息论下界确定样本复杂度，建立可学习性极限。

实验结果

研究问题

• RQ1 在给定误差界内学习子模函数所需的样本复杂度是多少？
• RQ2 子模函数的哪些结构性质促进或阻碍其可学习性？
• RQ3 子模函数的极端行为如何影响其学习的可行性？
• RQ4 子模函数中的哪些规律性可被利用以设计高效学习算法？
• RQ5 学习子模函数的根本理论极限是什么？与凸函数学习相比有何异同？

主要发现

• 本文证明，在特定分布假设下，子模函数可被高效学习，其样本复杂度在输入规模上受多项式因子限制。
• 识别出表现出最大学习复杂性的极端子模函数，揭示了泛化能力的内在局限性。
• 发现了子模函数的新规律性特征，例如在子集上变化有界，这有助于学习过程。
• 研究证明了学习子模函数所需样本数的信息论下界，表明在最坏情况下，若数据不足则无法实现学习。
• 结构性洞见表明，子模函数在离散域中的行为类似于凸函数，从而可被算法有效利用。
• 结果表明，子模函数在表达能力与可学习性之间保持平衡，使其适用于实际的机器学习应用。