[论文解读] Optimal approximation for unconstrained non-submodular minimization

Marwa El Halabi, Stefanie Jegelka|arXiv (Cornell University)|May 29, 2019

Complexity and Algorithms in Graphs参考文献 60被引用 6

一句话总结

本论文通过利用洛瓦兹扩展和投影梯度法（PGM），首次为无约束非子模函数最小化提供了近似保证，表明 PGM 达到了紧致的近似界 $ H(S) \leq \frac{F(S^*)}{\alpha} - \beta G(S^*) + \epsilon $，其中 $\alpha$ 和 $\beta$ 衡量函数与子模性和超模性的接近程度。结果为最优，经由匹配的下界验证，且可扩展至噪声函数评估情形。

ABSTRACT

Submodular function minimization is well studied, and existing algorithms solve it exactly or up to arbitrary accuracy. However, in many applications, such as structured sparse learning or batch Bayesian optimization, the objective function is not exactly submodular, but close. In this case, no theoretical guarantees exist. Indeed, submodular minimization algorithms rely on intricate connections between submodularity and convexity. We show how these relations can be extended to obtain approximation guarantees for minimizing non-submodular functions, characterized by how close the function is to submodular. We also extend this result to noisy function evaluations. Our approximation results are the first for minimizing non-submodular functions, and are optimal, as established by our matching lower bound.

研究动机与目标

• 解决在结构化稀疏学习和批量贝叶斯优化等应用中出现的非子模函数最小化缺乏理论保证的问题。
• 通过量化函数与子模性的接近程度，将子模最小化技术扩展至非子模函数，并表征近似质量。
• 在无噪声和有噪声函数评估两种情形下，首次为无约束非子模最小化提供近似保证。
• 在值查询模型中建立匹配的下界，证明所提近似方法的最优性。
• 通过结构化稀疏学习和批量贝叶斯优化中的方差减少应用，展示方法的实际适用性。

提出的方法

• 将一般集合函数 $ H(S) = F(S) - G(S) $ 分解为 $ F $，其为 $\alpha$-弱 DR-子模，以及 $ G $，其为 $\beta$-弱 DR-超模。
• 使用洛瓦兹扩展作为近似子模函数的凸松弛，从而启用凸优化技术。
• 对洛瓦兹扩展应用投影梯度法（PGM），以获得原始非子模问题的近似解。
• 通过将解的质量与衡量与子模性和超模性偏离程度的参数 $\alpha$ 和 $\beta$ 相关联，建立近似界。
• 通过分析噪声对 PGM 收敛性和近似误差的影响，将框架扩展至处理噪声函数评估。
• 证明匹配的下界，表明改进近似保证将需要指数级数量的查询，从而确认其最优性。

实验结果

研究问题

• RQ1 子模最小化技术能否被扩展至具有理论近似保证的非子模函数？
• RQ2 无约束非子模最小化的最紧致近似保证是什么？其如何依赖于子模性的程度？
• RQ3 噪声函数评估的存在如何影响非子模最小化中的近似质量？
• RQ4 洛瓦兹扩展能否被有效用作非子模函数的凸松弛？
• RQ5 所提近似界是否最优？能否通过更少的查询实现改进？

主要发现

• 将投影梯度法（PGM）应用于洛瓦兹扩展，可实现近似界 $ H(S) \leq \frac{F(S^*)}{\alpha} - \beta G(S^*) + \epsilon $，这是无约束非子模最小化首次获得此类保证。
• 该近似界为最优，匹配的下界表明，若要改进该界，需在查询模型中进行指数级数量的查询。
• 该方法可扩展至噪声函数评估，在有界噪声下仍保持近似保证，并为噪声环境下 PGM 的收敛性和误差界提供了推导。
• 该框架首次为结构化稀疏学习和批量贝叶斯优化中的方差减少提供了近似保证，二者均涉及非子模目标函数。
• 实验结果表明，经典子模最小化算法对非子模性和噪声仍保持鲁棒性，验证了理论发现。
• 任何集合函数均可被分解为 $\alpha$-弱 DR-子模和 $\beta$-弱 DR-超模分量，尽管当函数偏离子模性时，近似质量会下降。