[論文レビュー] Adaptivity in Adaptive Submodularity

Hossein Esfandiari, Amin Karbasi+1 more|arXiv (Cornell University)|Nov 9, 2019

Machine Learning and Algorithms参考文献 40被引用数 7

ひとこと要約

本稿では、$O(\log n \times \log k)$ の適応ラウンドのみを用いて、$1 - 1/e - \varepsilon$ 近似を達成する半適応的方策を提案する。これは、従来の手法と比較して著しく少ないラウンド数であり、最小コストカバレッジ問題に対しても、グリーディ方策がタイトな対数的近似を達成することを証明している。本手法は情報並列性を活用し、性能を損なわずにラウンド数を削減し、適応性ギャップを指数関数的に縮小する。

ABSTRACT

Adaptive sequential decision making is one of the central challenges in machine learning and artificial intelligence. In such problems, the goal is to design an interactive policy that plans for an action to take, from a finite set of $n$ actions, given some partial observations. It has been shown that in many applications such as active learning, robotics, sequential experimental design, and active detection, the utility function satisfies adaptive submodularity, a notion that generalizes the notion of diminishing returns to policies. In this paper, we revisit the power of adaptivity in maximizing an adaptive monotone submodular function. We propose an efficient semi adaptive policy that with $O(\log n imes\log k)$ adaptive rounds of observations can achieve an almost tight $1-1/e-ε$ approximation guarantee with respect to an optimal policy that carries out $k$ actions in a fully sequential manner. To complement our results, we also show that it is impossible to achieve a constant factor approximation with $o(\log n)$ adaptive rounds. We also extend our result to the case of adaptive stochastic minimum cost coverage where the goal is to reach a desired utility $Q$ with the cheapest policy. We first prove the conjecture of the celebrated work of Golovin and Krause by showing that the greedy policy achieves the asymptotically tight logarithmic approximation guarantee without resorting to stronger notions of adaptivity. We then propose a semi adaptive policy that provides the same guarantee in polylogarithmic adaptive rounds through a similar information-parallelism scheme. Our results shrink the adaptivity gap in adaptive submodular maximization by an exponential factor.

研究の動機と目的

• 適応的サブモジュラ最大化において、近似的に最適な近似を得るために必要な適応ラウンド数を削減すること。
• 適応的サブモジュラ最適化における適応性ギャップを、必要な適応ラウンド数を指数関数的に削減することで閉じること。
• 強い適応性仮定を必要とせずに、グリーディ方策が適応的確率的最小コストカバレッジ問題において漸近的にタイトな対数的近似を達成することを証明すること。
• 情報並列性フレームワークを、適応的サブモジュラ最大化および最小コストカバレッジ問題の両者に拡張すること。

提案手法

• 各バッチ（適応ラウンド）内で期待限界利得に基づくグリーディ選択戦略を用いて、要素をバッチ処理する半適応的方策を導入する。
• 政策の合成と性能の有界性を保証するため、レベル-$k$ 切断と政策の連結を採用する。
• 各ラウンドで現在の部分観測下での期待限界利得を最大化するように、要素の集合を選択するバッチクエリ方式を採用する。
• 完全適応性の利点を模倣しつつ、適応ラウンド数を最小限に抑えるために、情報並列性メカニズムを適用する。
• 濃度不等式と事後更新を活用し、複数ラウンドにわたる政策の期待利得およびコストを有界化する。
• Lemma 1, Lemma 6, および Theorem 2 の組み合わせを用いて性能保証を証明し、平均コストおよびカバレッジ確率の上限を確立する。

実験結果

リサーチクエスチョン

• RQ1 従来の手法よりも著しく少ない適応ラウンド数で、適応的サブモジュラ最大化において $1 - 1/e - \varepsilon$ 近似を達成できるか？
• RQ2 適応的サブモジュラ最大化において、$o(\log n)$ の適応ラウンド数で定数近似を達成することは可能か？
• RQ3 より強い適応性仮定を必要とせずに、グリーディ方策が適応的確率的最小コストカバレッジ問題において漸近的にタイトな対数的近似を達成できるか？
• RQ4 半適応的方策は、サブモジュラ最大化および最小コストカバレッジの両問題において、多項対数的適応ラウンドで完全逐次的方策と同等の性能を再現できるか？

主な発見

• 提案された半適応的グリーディ方策は、$O(\log n \times \log k)$ の適応ラウンドのみを用いて、適応的サブモジュラ最大化において $1 - 1/e - \varepsilon$ 近似を達成する。
• 半適応的方策の平均コストは、$\left(\frac{c_{\text{avg}}(\pi^*) + 1}{1 - \varepsilon}\right) \log\left(\frac{nQ}{\eta}\right) + 1$ で有界であり、コストにおいて近似的に最適性を保証する。
• $T \in O(\log n \log(Qn/\eta))$ のバッチクエリを用いることで、確率 $1 - 1/n$ で完全カバレッジ（$f(\pi^T) = Q$）が達成される。
• 適応的サブモジュラ最大化問題に対して定数近似を保証するいかなる方策でも、$\Omega(\log n)$ の適応ラウンドを必要とすることが示され、下界が確立される。
• グリーディ方策は、最小コストカバレッジ問題において漸近的にタイトな $O(\log Q)$ 近似を達成し、GolovinとKrauseの予想を裏付ける。
• 下界結果により、バッチサイズ $r$ の場合、近似因子は $O(\frac{r \log^2 r}{r}) = O(\log^2 r / r)$ で上界が与えられ、少数のラウンドで非定数近似が不可能であることが証明される。