[论文解读] Adaptivity in Adaptive Submodularity

Hossein Esfandiari, Amin Karbasi+1 more|arXiv (Cornell University)|Nov 9, 2019

Machine Learning and Algorithms参考文献 40被引用 7

一句话总结

本文提出了一种半自适应策略，在仅使用 $O(\log n \times \log k)$ 个自适应轮次的情况下，实现了自适应子模最大化问题的 $1 - 1/e - \varepsilon$ 近似解，显著少于以往方法；同时证明了贪心策略在最小成本覆盖问题中可实现紧致的对数近似。该方法通过信息并行性减少轮次数而不损失性能，使自适应间隙呈指数级缩小。

ABSTRACT

Adaptive sequential decision making is one of the central challenges in machine learning and artificial intelligence. In such problems, the goal is to design an interactive policy that plans for an action to take, from a finite set of $n$ actions, given some partial observations. It has been shown that in many applications such as active learning, robotics, sequential experimental design, and active detection, the utility function satisfies adaptive submodularity, a notion that generalizes the notion of diminishing returns to policies. In this paper, we revisit the power of adaptivity in maximizing an adaptive monotone submodular function. We propose an efficient semi adaptive policy that with $O(\log n imes\log k)$ adaptive rounds of observations can achieve an almost tight $1-1/e-ε$ approximation guarantee with respect to an optimal policy that carries out $k$ actions in a fully sequential manner. To complement our results, we also show that it is impossible to achieve a constant factor approximation with $o(\log n)$ adaptive rounds. We also extend our result to the case of adaptive stochastic minimum cost coverage where the goal is to reach a desired utility $Q$ with the cheapest policy. We first prove the conjecture of the celebrated work of Golovin and Krause by showing that the greedy policy achieves the asymptotically tight logarithmic approximation guarantee without resorting to stronger notions of adaptivity. We then propose a semi adaptive policy that provides the same guarantee in polylogarithmic adaptive rounds through a similar information-parallelism scheme. Our results shrink the adaptivity gap in adaptive submodular maximization by an exponential factor.

研究动机与目标

• 减少实现自适应子模最大化近似最优解所需的自适应轮次数。
• 通过指数减少所需自适应轮次数，缩小自适应子模优化中的自适应间隙。
• 证明贪心策略在无需更强自适应假设的前提下，可实现自适应随机最小成本覆盖问题的渐近紧致对数近似。
• 将信息并行性框架扩展至自适应子模最大化与最小成本覆盖问题。

提出的方法

• 引入一种半自适应策略，以批次（自适应轮次）形式处理元素，每轮内基于期望边际增益采用贪心选择策略。
• 采用 $k$ 级截断与策略拼接方法，以管理策略组合并确保性能有界。
• 使用批量查询机制，每轮选择一组元素以在当前部分观测下最大化期望边际增益。
• 应用信息并行性机制，在最小化自适应轮次数的同时模拟完全自适应的优势。
• 利用集中不等式与后验更新，对多轮内策略的期望效用与成本进行上界控制。
• 通过结合引理1、引理6与定理2证明性能保证，建立平均成本与覆盖概率的上界。

实验结果

研究问题

• RQ1 我们能否在显著少于以往方法的自适应轮次下，实现自适应子模最大化问题的近似最优解 $1 - 1/e - \varepsilon$？
• RQ2 在自适应子模最大化问题中，能否在 $o(\log n)$ 个自适应轮次内实现常数因子近似？
• RQ3 贪心策略是否可在不依赖更强自适应概念的前提下，实现自适应随机最小成本覆盖问题的渐近紧致对数近似？
• RQ4 半自适应策略是否能在亚对数自适应轮次内，复现完全顺序策略在子模最大化与最小成本覆盖问题中的性能？

主要发现

• 所提出的半自适应贪心策略仅使用 $O(\log n \times \log k)$ 个自适应轮次，即可实现自适应子模最大化问题的 $1 - 1/e - \varepsilon$ 近似。
• 半自适应策略的平均成本被限制在 $\left(\frac{c_{\text{avg}}(\pi^*) + 1}{1 - \varepsilon}\right) \log\left(\frac{nQ}{\eta}\right) + 1$ 以内，确保成本近似最优。
• 在 $T \in O(\log n \log(Qn/\eta))$ 个批量查询下，策略以 $1 - 1/n$ 的概率实现完全覆盖（$f(\pi^T) = Q$）。
• 任何对自适应子模最大化问题具有常数因子近似保证的策略，均需 $\Omega(\log n)$ 个自适应轮次，从而建立了下界。
• 贪心策略实现了最小成本覆盖问题的渐近紧致 $O(\log Q)$ 近似，证实了Golovin与Krause的猜想。
• 困难性结果表明，对于批量大小 $r$，近似因子的上界为 $O(\frac{r \log^2 r}{r}) = O(\log^2 r / r)$，证明了在少量轮次下实现亚常数近似是不可能的。