[論文レビュー] No-regret algorithms for online $k$-submodular maximization

Tasuku Soma|arXiv (Cornell University)|Jul 13, 2018

Advanced Bandit Algorithms Research参考文献 21被引用数 7

ひとこと要約

本稿では、ブラックウェルの到達可能性定理とオンライン線形最適化を用いて、オンライン $k$-サブモジュラー最大化の多項式時間ノーリグレットアルゴリズムを提示する。非単調 $k$-サブモジュラー関数に対しては $O(nk\sqrt{T})$ の期待 $1/2$-リグレットを達成し、単調 $k$-サブモジュラー関数に対しては $O(nk\sqrt{T})$ の期待 $rac{k}{2k-1}$-リグレットを達成する。これは、漸近的に既知の最良のオフライン近似比と一致する。

ABSTRACT

We present a polynomial time algorithm for online maximization of $k$-submodular maximization. For online (nonmonotone) $k$-submodular maximization, our algorithm achieves a tight approximate factor in an approximate regret. For online monotone $k$-submodular maximization, our approximate-regret matches to the best-known approximation ratio, which is tight asymptotically as $k$ tends to infinity. Our approach is based on the Blackwell approachability theorem and online linear optimization.

研究の動機と目的

• 一般の制約のもとでオンライン $k$-サブモジュラー最大化のノーリグレットアルゴリズムを設計すること。
• サブモジュラリティとバイサブモジュラリティを一般化する $k$-サブモジュラー設定に、既存のオンラインサブモジュラー最大化の結果を拡張すること。
• $k$-サブモジュラー関数の既知の最良のオフライン近似比と一致するタイトな近似保証を達成すること。
• 乗法的ウェイト更新のような標準的なオンライン学習アルゴリズムの限界を、ブラックウェルの到達可能性定理を用いることで克服すること。

提案手法

• 本手法は、ブラックウェルの到達可能性定理を用いて、$k$-サブモジュラー選択ゲームにおける応答満たし戦略を維持するオンラインアルゴリズムを設計する。
• 目標近似比 $\alpha$ を符号化するため、修正されたベクトル報酬関数 $\ell'(\mathbf{p}, \mathbf{y})(i)$ が定義される。
• 内部のOLOアルゴリズムとしてオンライン勾配降下法を用いて、$k$-タプル上の確率分布 $\mathbf{p}_t$ の系列が構築される。
• 非単調ケースでは、期待リグレットが $O(nk\sqrt{T})$ で有界であることを保証することで $1/2$-リグレットを達成する。
• 単調ケースでは、$\frac{k}{2k-1}$-近似比を用い、単調 $k$-サブモジュラー選択ゲームを通じて同じ $O(nk\sqrt{T})$ のリグレットバウンドを達成する。
• アルゴリズムの決定論的性質のおかげで、適応的敵に対して強靭である。

実験結果

リサーチクエスチョン

• RQ1 オンライン $k$-サブモジュラー最大化のノーリグレットアルゴリズムを設計可能か。その近似比が、既知の最良のオフライン近似比と一致するか。
• RQ2 ブラックウェルの到達可能性定理をどのように用いて、$k$-サブモジュラー関数のオンラインアルゴリズムを構築できるか。
• RQ3 リグレットバウンドを非線形かつ関数の具体的な構造に依存しない形にできるか。
• RQ4 乗法的ウェイト更新のような既存のオンライン学習技術を、よりタイトな保証を得られるように $k$-サブモジュラー設定に拡張可能か。

主な発見

• 本稿では、非単調 $k$-サブモジュラー最大化の多項式時間アルゴリズムを提示し、$O(nk\sqrt{T})$ の期待 $1/2$-リグレットを達成する。
• 単調 $k$-サブモジュラー最大化のケースでは、$O(nk\sqrt{T})$ の期待 $rac{k}{2k-1}$-リグレットを達成し、既知の最良のオフライン近似比と一致する。
• アルゴリズムは決定論的であるため、過去の研究で使われた確率的代替手法とは異なり、適応的敵に対して強靭である。
• ブラックウェルの到達可能性定理の使用により、乗法的ウェイト更新のような標準的なオンライン学習アルゴリズムよりも強いリグレット保証が得られる。
• 本手法は、ローグェンデイジとワン（2018）の研究を含む、既存のオンラインサブモジュラー最大化の結果を $k$-サブモジュラー設定に一般化する。
• リグレットバウンドは $T$、$n$、$k$ に対する依存関係においてタイトであり、既知のオフラインアルゴリズムの漸近的近似比と一致する。