[论文解读] Greedy Minimization of Weakly Supermodular Set Functions

Christos Boutsidis, Edo Liberty+1 more|arXiv (Cornell University)|Feb 23, 2015

Complexity and Algorithms in Graphs参考文献 7被引用 5

一句话总结

本文引入了弱-α-超模性（weak-α-supermodularity），为机器学习与数据挖掘中非超模集合函数的最小化提供了一个广义框架。证明了从初始解出发、近似比为ρ的贪心扩展算法，通过添加O(αk ln(ρ/ε))个额外元素，可实现(1+ε)-近似，显著改进了k均值、稀疏回归和列子集选择问题的双准则结果，实现了更紧的界和更广泛的应用范围，优于以往工作。

ABSTRACT

This paper defines weak-$α$-supermodularity for set functions. Many optimization objectives in machine learning and data mining seek to minimize such functions under cardinality constrains. We prove that such problems benefit from a greedy extension phase. Explicitly, let $S^*$ be the optimal set of cardinality $k$ that minimizes $f$ and let $S_0$ be an initial solution such that $f(S_0)/f(S^*) \le ρ$. Then, a greedy extension $S \supset S_0$ of size $|S| \le |S_0| + \lceil αk \ln(ρ/\varepsilon) ceil$ yields $f(S)/f(S^*) \le 1+\varepsilon$. As example usages of this framework we give new bicriteria results for $k$-means, sparse regression, and columns subset selection.

研究动机与目标

• 将贪心算法的适用性推广至机器学习与数据挖掘中常见的非超模集合函数。
• 将弱-α-超模性形式化为一种性质，确保贪心算法在每次添加元素时都能取得足够的进展。
• 为基数约束最小化问题提供双准则近似的理论框架。
• 通过收紧近似因子并扩展至欠约束情形，改进稀疏回归、k均值和列子集选择问题的现有界。
• 通过曲率类参数α，统一并扩展先前针对非子模或非超模目标函数的贪心算法结果。

提出的方法

• 定义弱-α-超模性：对任意集合S和T，添加T\S的总增益受α乘以|T\S|与单个元素最大增益之积的约束。
• 提出一种贪心扩展算法，通过迭代添加使f(S ∪ {i})最小化的元素来改进目标函数。
• 建立理论界：若初始解S₀满足f(S₀)/f(S*) ≤ ρ，则将贪心扩展至大小|S₀| + ⌈αk ln(ρ/ε)⌉时，可得f(S)/f(S*) ≤ 1+ε。
• 将该框架应用于三个问题：k均值、稀疏多重线性回归（SMLR）和列子集选择（CSS），证明在每种情况下弱-α-超模性均成立。
• 利用已知的近似算法构造初始解S₀，使其ρ有界，从而确保贪心扩展可实现(1+ε)-近似。
• 通过矩阵扰动理论和条件数界，将α与输入矩阵的谱性质（尤其在CSS和回归中）相关联。

实验结果

研究问题

• RQ1 在基数约束最小化问题中，能否保证贪心算法对非超模集合函数获得近似最优解？
• RQ2 何种集合函数结构特性可使贪心算法在添加有界数量额外元素后实现(1+ε)-近似？
• RQ3 弱-α-超模性如何推广超模性，并在稀疏回归和列选择等实际问题中实现更紧的近似界？
• RQ4 贪心扩展框架能否在稀疏回归和列子集选择问题中改进现有双准则结果，特别是在欠约束情形下？
• RQ5 参数α与回归和矩阵逼近问题中的条件数或矩阵范数之间存在何种关系？

主要发现

• 贪心扩展算法通过最多|S₀| + ⌈αk ln(ρ/ε)⌉个元素，可实现对最优解f(S*)的(1+ε)-近似，其中ρ = f(S₀)/f(S*)，α用于量化弱超模性。
• 对于稀疏多重线性回归（SMLR），本文证明弱-α-超模性成立，且α = max_S′ ||X_S′⁺||₂²，从而实现O(αk log(‖Y‖²_F / ε))个元素内的双准则近似。
• 该框架在稀疏回归方面优于先前工作，通过常数因子减小了近似因子，并将适用性扩展至先前结果失效的欠约束情形。
• 对于列子集选择，本文表明：若初始解满足ρ ≤ 2, k+1, 或κ²(X)，则贪心扩展可得到f(S) ≤ (1+δ)f(S*)，使用O(αk ln(ρ/δ))列。
• 先前工作的基于曲率的分析被扩展并优化，表明1/(1−c) ≤ κ²(X)，将矩阵条件数与近似质量联系起来。
• 该理论框架通过具体应用得到验证：k均值、稀疏回归和列子集选择问题均实现了改进或推广的双准则界。