[论文解读] Batch greedy maximization of non-submodular functions: Guarantees and applications to experimental design

Jayanth Jagalur‐Mohan, Youssef Marzouk|arXiv (Cornell University)|Jun 3, 2020

Complexity and Algorithms in Graphs被引用 8

一句话总结

本文提出了一种用于最大化非子模、单调集合函数的批量贪婪算法，利用子模性和超模性比率推导理论保证。该方法应用于贝叶斯最优实验设计，为互信息提供了新颖的模块化边界，并将其与杠杆度量和体积采样相联系，通过合成数据和气候监测问题的实证验证。

ABSTRACT

We propose and analyze batch greedy heuristics for cardinality constrained maximization of non-submodular non-decreasing set functions. We consider the standard greedy paradigm, along with its distributed greedy and stochastic greedy variants. Our theoretical guarantees are characterized by the combination of submodularity and supermodularity ratios. We argue how these parameters define tight modular bounds based on incremental gains, and provide a novel reinterpretation of the classical greedy algorithm using the minorize-maximize (MM) principle. Based on that analogy, we propose a new class of methods exploiting any plausible modular bound. In the context of optimal experimental design for linear Bayesian inverse problems, we bound the submodularity and supermodularity ratios when the underlying objective is based on mutual information. We also develop novel modular bounds for the mutual information in this setting, and describe certain connections to polyhedral combinatorics. We discuss how algorithms using these modular bounds relate to established statistical notions such as leverage scores and to more recent efforts such as volume sampling. We demonstrate our theoretical findings on synthetic problems and on a real-world climate monitoring example.

研究动机与目标

• 解决在基数约束下最大化非子模、非递减集合函数的挑战，这是实验设计和机器学习中的常见情形。
• 为当目标函数缺乏子模性时，批量贪婪算法的理论性能保证提供支持，弥补经典贪婪优化的局限性。
• 将该框架应用于线性贝叶斯最优实验设计，其中目标函数为用于参数推断的互信息。
• 为贝叶斯反问题中的互信息构建新颖的模块化边界，以促进更优的算法设计与分析。
• 将所提方法与杠杆度量和体积采样等既有的统计概念相联系，提升可解释性与实际相关性。

提出的方法

• 引入批量贪婪算法——标准、分布式和随机版本——通过增量收益一次选择多个元素，基于子模性和超模性比率进行理论分析。
• 通过最小化-最大化（MM）原理重新诠释经典贪婪算法，从而提出一类新算法，可利用任意合理的模块化边界。
• 定义并计算线性贝叶斯反问题中互信息目标的子模性和超模性比率，利用协方差算子的谱性质。
• 利用算子凹函数（如对数行列式）构建互信息的模块化边界，借助矩阵分析和广义特征值问题。
• 将所得算法与统计概念相联系：通过对角占优性关联杠杆度量，通过行列式点过程关联体积采样。
• 在合成问题和真实世界的气候监测传感器布置任务中实现并评估算法，展示其在实证性能与理论一致性方面的表现。

实验结果

研究问题

• RQ1 当应用于非子模集合函数时，如何从理论上证明批量贪婪算法的合理性？
• RQ2 子模性和超模性比率在刻画批量贪婪方法的近似保证中起到何种作用？
• RQ3 能否利用算子凹函数和矩阵理论为贝叶斯实验设计中的互信息构建模块化边界？
• RQ4 所提算法与杠杆度量和体积采样等既有的统计概念有何关联？
• RQ5 理论保证与算法设计在真实世界实验设计问题（如气候监测）中的性能提升程度如何？

主要发现

• 本文通过子模性与超模性比率的乘积，建立了对非子模函数的批量贪婪算法的理论近似保证。
• 对于线性贝叶斯反问题中的互信息，其子模性与超模性比率可通过协方差算子的谱性质进行有界化。
• 所提出的互信息模块化边界通过算子凹不等式推导得出，尤其涉及对数行列式函数。
• 基于MM的算法框架为贪婪选择提供了新解释，使得可使用任意有效的模块化边界，而不仅限于传统的基于次梯度的边界。
• 在合成问题与气候监测问题上的实证结果表明，批量贪婪算法表现出优异性能，且所提出的模块化边界显著提升了收敛性与稳定性。
• 与杠杆度量和体积采样的关联得到形式化证明，表明所提方法在理论上推广并统一了现有采样与实验设计技术的若干方面。