[論文レビュー] Online Continuous Submodular Maximization

Lin Chen, Hamed Hassani+1 more|arXiv (Cornell University)|Feb 16, 2018

Advanced Bandit Algorithms Research参考文献 32被引用数 30

ひとこと要約

本稿では、非凸・非凹な目的関数における連続的サブモジュラ最大化のための2つのオンライン最適化アルゴリズム—Meta-Frank-Wolfeとオンライン勾配上昇法—を提案する。正確な勾配と確率的勾配の設定において、それぞれ(1−1/e)-近似解および1/2-近似解に対するO(√T)のレグレットバウンドを確立し、γ-弱サブモジュラ関数へ一般化した場合、γ²/(γ²+1)の近似保証が得られる。

ABSTRACT

In this paper, we consider an online optimization process, where the objective functions are not convex (nor concave) but instead belong to a broad class of continuous submodular functions. We first propose a variant of the Frank-Wolfe algorithm that has access to the full gradient of the objective functions. We show that it achieves a regret bound of $O(\sqrt{T})$ (where $T$ is the horizon of the online optimization problem) against a $(1-1/e)$-approximation to the best feasible solution in hindsight. However, in many scenarios, only an unbiased estimate of the gradients are available. For such settings, we then propose an online stochastic gradient ascent algorithm that also achieves a regret bound of $O(\sqrt{T})$ regret, albeit against a weaker $1/2$-approximation to the best feasible solution in hindsight. We also generalize our results to $γ$-weakly submodular functions and prove the same sublinear regret bounds. Finally, we demonstrate the efficiency of our algorithms on a few problem instances, including non-convex/non-concave quadratic programs, multilinear extensions of submodular set functions, and D-optimal design.

研究の動機と目的

• 目的関数が連続的サブモジュラである非凸最適化問題に焦点を当て、離散的サブモジュラ関数を連続的ドメインに一般化するクラスを扱う。
• 非凸性にもかかわらず、最良の固定されたオフライン解と比較可能な、ノーレグレットのオンラインアルゴリズムを開発すること。
• 正確な勾配と確率的勾配の両方の設定において理論的保証を提供すること、特に不偏な勾配推定値しか得られない状況を想定する。
• γ-弱DR-サブモジュラ関数へ結果を一般化し、より広範な非サブモジュラだが近似的にサブモジュラな目的関数へ応用可能にする。
• 非凸二次計画問題、マルチリニア拡張、D-最適設計問題といった実世界のインスタンスにおいて、アルゴリズムの実用的効率を示すこと。

提案手法

• 完全な勾配情報を用いるMeta-Frank-Wolfeを提案。これは、実行可能領域を維持するための投影付き部分勾配ステップを実行するFrank-Wolfeアルゴリズムの変種である。
• 確率的設定下でのオンライン勾配上昇法を導入。ここでは不偏な勾配推定値しか得られないが、凸な実行可能集合への投影により制約を満たす。
• 各ステップで反復点を実行可能凸体に戻すための射影演算子 Π_P(x) = argmin_{v∈P} ||x−v|| を用いる。
• DR-サブモジュラ関数の段階的利得減少性を分析し、滑らかさおよび勾配の有界性仮定を活用することで、レグレットバウンドを導出する。
• γ-弱DR-サブモジュラ関数へ一般化する際、γ²/(γ²+1)に比例するレグレットバウンドを導出し、γ=1のとき1/2に還元されることを示す。
• アルゴリズムの性能を検証するため、サブモジュラ集合関数のマルチリニア拡張とD-最適設計を具体的な問題インスタンスとして用いる。

実験結果

リサーチクエスチョン

• RQ1 目的関数が非凸的かつ非凹的である場合、連続的サブモジュラ最大化におけるオンライン最適化アルゴリズムは、サブ線形なレグレットを達成できるか？
• RQ2 正確な勾配情報と確率的勾配情報の両方の状況下で、オンラインアルゴリズムが達成可能な最良の近似保証は何か？
• RQ3 異なる勾配情報の可用性仮定下で、連続的DR-サブモジュラ関数に対する時間枠Tに伴うレグレットバウンドのスケーリングはどのようになるか？
• RQ4 理論的保証をγ-弱DR-サブモジュラ関数へ拡張できるか？その場合の近似要因は何か？
• RQ5 提案されたアルゴリズムは、D-最適設計やマルチリニア拡張といった実世界の非凸最適化問題において、実際の性能をどのように示すか？

主な発見

• 完全な勾配が利用可能な場合、Meta-Frank-Wolfeは最良の固定オフライン解に対する(1−1/e)-近似をO(√T)のレグレットで達成する。
• 確率的勾配推定値が利用可能な場合、オンライン勾配上昇法は最良の固定オフライン解に対する1/2-近似をO(√T)のレグレットで達成する。
• γ-弱DR-サブモジュラ関数に対しては、オンライン勾配上昇法がγ²/(γ²+1)-近似保証をO(√T)のレグレットで達成し、γ=1のとき1/2に還元される。
• レグレットバウンドはタイトであり、オンライン最適化における最悪ケース下での下界がΩ(√T)であるのに対し、提案アルゴリズムはこの境界と一致する。
• 実験的評価により、非凸二次計画問題、サブモジュラ集合関数のマルチリニア拡張、D-最適設計問題において両アルゴリズムの効率性が確認された。
• 本研究は、連続的グリーディ法が確率的設定では頑健でないことを示し、投影付き確率的勾配上昇法の有効性を裏付けた。