[論文レビュー] An Optimal Algorithm for Online Unconstrained Submodular Maximization

Tim Roughgarden, Joshua R. Wang|arXiv (Cornell University)|Jun 8, 2018

Complexity and Algorithms in Graphs参考文献 26被引用数 5

ひとこと要約

本稿では、オンライン非制約サブモジュラー最大化（オンラインUSM）のための、初めての多項式時間1/2-レジストなしのアルゴリズムを提示する。このアルゴリズムは、後悔が1/2に近い最適な固定部分集合に対する1/2近似を達成する。アルゴリズムは、O(√T)の後悔を持つ2エキスパート問題を解くための新規サブルーチンであるUSMバランサを用いる。これにより、サブモジュラー最大化の本質的な近似不能性を考慮しても、最適な性能が達成可能である。

ABSTRACT

We consider a basic problem at the interface of two fundamental fields: submodular optimization and online learning. In the online unconstrained submodular maximization (online USM) problem, there is a universe $[n]=\{1,2,...,n\}$ and a sequence of $T$ nonnegative (not necessarily monotone) submodular functions arrive over time. The goal is to design a computationally efficient online algorithm, which chooses a subset of $[n]$ at each time step as a function only of the past, such that the accumulated value of the chosen subsets is as close as possible to the maximum total value of a fixed subset in hindsight. Our main result is a polynomial-time no-$1/2$-regret algorithm for this problem, meaning that for every sequence of nonnegative submodular functions, the algorithm's expected total value is at least $1/2$ times that of the best subset in hindsight, up to an error term sublinear in $T$. The factor of $1/2$ cannot be improved upon by any polynomial-time online algorithm when the submodular functions are presented as value oracles. Previous work on the offline problem implies that picking a subset uniformly at random in each time step achieves zero $1/4$-regret. A byproduct of our techniques is an explicit subroutine for the two-experts problem that has an unusually strong regret guarantee: the total value of its choices is comparable to twice the total value of either expert on rounds it did not pick that expert. This subroutine may be of independent interest.

研究の動機と目的

• 計算的に効率的なオンラインアルゴリズムを設計し、非制約サブモジュラー最大化にサブ線形レジストを達成する。
• 既知の最高近似比（1/2）とオンライン設定での達成可能なレジストのギャップを埋める。
• 多項式時間で動作し、1/2-レジストなしを達成するアルゴリズムを提供し、サブモジュラー最大化の最良の可能な近似要因と一致させる。
• 2エキスパート問題に対して強い後悔保証を持つ新規サブルーチンであるUSMバランサを開発し、オンラインUSMに適用可能にする。

提案手法

• オンラインUSMを、各エキスパートが1つの要素を含めるか含めないかに対応する2エキスパート問題に還元する。
• USMバランサアルゴリズムを導入する。これは、状態変数xを維持し、観測された報酬に基づいてそれを更新する確率的サブルーチンである。
• 確率p^t = x / √Tを用いて要素を確率的に選択する。xは初期値(1/2)√Tとして設定され、[0, √T]の範囲に制限される。
• 観測された結果(α^t, β^t)の凸結合を用いてxを更新し、両エキスパートからの利益をバランスさせる。
• 各ステップで状態変数xを上限で切り詰めることで、アルゴリズムの有界性と安定性を保証する。
• 既知の時間枠Tに依存しないようにするため、標準的なダブルイングトリックを適用する。

実験結果

リサーチクエスチョン

• RQ1 多項式時間のオンラインアルゴリズムは、非制約サブモジュラー最大化において1/2-レジストなしを達成できるか？
• RQ2 サブモジュラー最大化の1/2近似要因は、オンライン設定においてタイトか？
• RQ3 強い後悔保証を持つ2エキスパート問題を用いて、オンラインUSM問題を解くことができるか？
• RQ4 計算的に効率的なオンラインアルゴリズムが、オンラインUSMに対して達成可能な最小のレジストは何か？

主な発見

• 提案されたアルゴリズムは、O(n√T)の1/2-レジストを達成する。これは、期待される合計報酬が、後悔のない最良の固定部分集合の1/2以上、サブ線形誤差の範囲内で達成されることを意味する。
• USMバランササブルーチンは、2エキスパート問題に対してO(√T)のレジストを達成する。これは、対数要因を除いて最適である。
• 1/2近似要因は、任意の多項式時間オンラインアルゴリズムにとって最適であり、オフライン問題の近似不能性の閾値と一致する。
• オンラインUSMから2エキスパート問題への還元はタイトであり、オンラインUSMにおける最初の最適な1/2-レジストなしアルゴリズムを可能にする。
• アルゴリズムは計算的に効率的であり、nに対して指数的時間が必要となる一般的なオンライン学習アルゴリズムとは異なり、各ラウンドで多項式時間で動作する。