[論文レビュー] Stochastic Conditional Gradient Methods: From Convex Minimization to Submodular Maximization

Aryan Mokhtari, Hamed Hassani+1 more|arXiv (Cornell University)|Apr 24, 2018

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

本稿では、勾配平均化と線形最小化を組み合わせることで、凸および連続サブモジュラ問題における効率的でプロジェクションフリーな最適化を可能にする、新しい確率的条件付き勾配法を提案する。凸最小化では最適な O(1/t^{1/3}) 収束レートを達成し、単調サブモジュラ最大化では (1−1/e)OPT−ε の近似解を得る。この近似解は O(1/ε³) の確率的勾配評価で達成され、決定的最適化と確率的最適化の間のギャップを埋める。

ABSTRACT

This paper considers stochastic optimization problems for a large class of objective functions, including convex and continuous submodular. Stochastic proximal gradient methods have been widely used to solve such problems; however, their applicability remains limited when the problem dimension is large and the projection onto a convex set is costly. Instead, stochastic conditional gradient methods are proposed as an alternative solution relying on (i) Approximating gradients via a simple averaging technique requiring a single stochastic gradient evaluation per iteration; (ii) Solving a linear program to compute the descent/ascent direction. The averaging technique reduces the noise of gradient approximations as time progresses, and replacing projection step in proximal methods by a linear program lowers the computational complexity of each iteration. We show that under convexity and smoothness assumptions, our proposed method converges to the optimal objective function value at a sublinear rate of $O(1/t^{1/3})$. Further, for a monotone and continuous DR-submodular function and subject to a general convex body constraint, we prove that our proposed method achieves a $((1-1/e)OPT-\\eps)$ guarantee with $O(1/\\eps^3)$ stochastic gradient computations. This guarantee matches the known hardness results and closes the gap between deterministic and stochastic continuous submodular maximization. Additionally, we obtain $((1/e)OPT -\\eps)$ guarantee after using $O(1/\\eps^3)$ stochastic gradients for the case that the objective function is continuous DR-submodular but non-monotone and the constraint set is down-closed. By using stochastic continuous optimization as an interface, we provide the first $(1-1/e)$ tight approximation guarantee for maximizing a monotone but stochastic submodular set function subject to a matroid constraint and $(1/e)$ approximation guarantee for the non-monotone case.

研究の動機と目的

• 大規模な問題における確率的近位勾配法のプロジェクションステップの高い計算コストを軽減すること。
• プロジェクションを回避しながら収束性を保つ、プロジェクションフリーな確率的条件付き勾配法の開発。
• 決定的最適化と確率的最適化の間のパフォーマンスギャップを埋めるために、タイトな近似保証を達成すること。
• マトロイド制約付きの集合関数への確率的連続最適化の拡張を図り、単調な場合に (1−1/e) の近似を、非単調な場合に (1/e) の近似を達成する。
• 滑らかさ、凸性、サブモジュラリティの仮定の下で、理論的収束レートと近似保証を確立すること。

提案手法

• 各イテレーションで1回の確率的勾配評価のみを用いて、単純な平均化により勾配を近似することで、時間の経過とともにノイズを低減する。
• 近位法におけるプロジェクションステップを、1イテレーションあたりの計算量を低減する線形計画法サブルーチンに置き換える。
• 収束を保証するために、減少するステップサイズ T とラインサーチに類似した更新ルールを用いる。
• 制約集合上での線形最小化により曲率に基づく勾配降下方向を導出し、更新をガイドする。
• 収束レートを導出するために、勾配誤差バウンドと曲率項を組み合わせた、新しい分析フレームワークを導入する。
• 一般の凸体制約下で、凸最小化および連続 DR-サブモジュラ最大化の両方の問題にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 小さなバッチサイズで、プロジェクションステップを一切含まない確率的条件付き勾配法を設計できるか？
• RQ2 凸最小化に対して、確率的条件付き勾配法が達成可能な最適な収束レートは何か？
• RQ3 確率的連続サブモジュラ最大化において、タイトな (1−1/e) 近似保証を達成できるか？
• RQ4 非単調サブモジュラ関数および一般のマトロイド制約下での本手法の性能はいかがなものか？
• RQ5 確率的連続最適化を用いて、確率的サブモジュラ集合関数の近似保証を導出できるか？

主な発見

• 滑らかさと凸性の仮定の下で、凸最小化に対して O(1/t^{1/3}) の非線形収束レートを達成する。
• 単調な連続 DR-サブモジュラ最大化では、期待値として (1−1/e)OPT−ε の近似解を得る。この場合の勾配計算回数は O(1/ε³) である。
• 下向き閉じた凸体上での非単調な連続 DR-サブモジュラ関数に対しては、同じ勾配複雑度で (1/e)OPT−ε の保証を得る。
• 一般のマトロイド制約下で、単調な確率的サブモジュラ集合関数を最大化するための、初めての (1−1/e) 近似保証を提供する。
• マトロイド制約下で、非単調な確率的サブモジュラ集合関数に対しては、初めての (1/e) 近似保証を達成する。
• 数値実験により、従来の確率的近位法および条件付き勾配法と比較して、より速い収束が確認された。