[论文解读] Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization

Daniel Golovin, Andreas Krause|arXiv (Cornell University)|Mar 21, 2010

Complexity and Algorithms in Graphs参考文献 48被引用 204

一句话总结

本文提出了自适应次模性（adaptive submodularity），这是经典次模性在不确定环境下自适应决策的推广。论文证明了自适应贪心算法在具有部分可观测性的随机优化问题中可实现可证明的近似最优性能，从而在主动学习、传感器部署和病毒式营销等任务中，通过惰性评估实现理论保证与实际加速的结合。

ABSTRACT

Solving stochastic optimization problems under partial observability, where one needs to adaptively make decisions with uncertain outcomes, is a fundamental but notoriously difficult challenge. In this paper, we introduce the concept of adaptive submodularity, generalizing submodular set functions to adaptive policies. We prove that if a problem satisfies this property, a simple adaptive greedy algorithm is guaranteed to be competitive with the optimal policy. In addition to providing performance guarantees for both stochastic maximization and coverage, adaptive submodularity can be exploited to drastically speed up the greedy algorithm by using lazy evaluations. We illustrate the usefulness of the concept by giving several examples of adaptive submodular objectives arising in diverse applications including sensor placement, viral marketing and active learning. Proving adaptive submodularity for these problems allows us to recover existing results in these applications as special cases, improve approximation guarantees and handle natural generalizations.

研究动机与目标

• 为解决在部分可观测性下设计高效近似算法以应对自适应随机优化问题的挑战。
• 将经典次模性的概念推广至自适应策略，捕捉不确定性环境下序列决策中的收益递减特性。
• 为自适应设置中的贪心算法提供理论性能保证，扩展非自适应次模优化中的结果。
• 通过惰性评估技术实现贪心算法的实际加速，同时保持解的质量。
• 将主动学习、传感器部署与病毒式营销中的现有结果统一并推广至单一理论框架下。

提出的方法

• 将自适应次模性定义为对自适应策略的次模集合函数的推广，其依据是条件期望上的收益递减性质。
• 证明对于自适应次模目标函数，自适应贪心算法在基数约束下的最大化问题中可实现常数因子近似保证（1 - 1/e）。
• 将框架扩展至处理最小成本与最小和目标，证明两者均具有近似界。
• 利用惰性评估技术加速自适应贪心算法，同时不损失解的质量，实际中实现显著提速。
• 将问题形式化为部分可观察的马尔可夫决策过程（POMDP），证明自适应次模性可在一般POMDP为PSPACE难问题的背景下实现高效近似。
• 将该框架应用于实际问题，如具有持久噪声的主动学习、传感器部署与病毒式营销，证明这些目标的自适应次模性。

实验结果

研究问题

• RQ1 次模函数的收益递减性质能否推广至不确定性环境下的自适应决策？
• RQ2 自适应贪心算法是否对具有部分可观测性的随机优化问题具有可证明的近似保证？
• RQ3 该框架能否应用于主动学习与传感器部署等实际AI问题，提供比先前方法更紧的性能界？
• RQ4 如何在不损失解质量的前提下加速自适应贪心算法？
• RQ5 自适应次模性能否统一并推广主动学习与随机优化中的现有结果？

主要发现

• 自适应贪心算法在基数约束下对自适应次模最大化问题实现了 (1 - 1/e) 近似，与非自适应情况下的最佳已知界一致。
• 该框架将经典非自适应次模优化结果推广至自适应设置，包括对最小成本与最小和目标的保证。
• 自适应次模性使得惰性评估成为可能，实际中可使贪心算法提速数个数量级。
• 本文证明了在具有持久噪声的主动学习中自适应次模性成立，首次为该问题提供了可证明的对数近似保证。
• 该框架恢复并改进了传感器部署与病毒式营销中的现有结果，支持更一般的故障模型与自然的问题扩展。
• 该方法提供了最优解的数据相关上界，从而支持提前停止，显著提升实际效率。