[論文レビュー] Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity

Lin Chen, Christopher Harshaw+2 more|arXiv (Cornell University)|Feb 22, 2018

Stochastic Gradient Optimization Techniques被引用数 33

ひとこと要約

本稿では、凸関数および連続的DR-サブモジュラー関数の両方に対して、確率的勾配推定を用いる、初めての射影フリーなオンライン最適化アルゴリズムであるMeta-Frank-WolfeとOne-Shot Frank-Wolfeを提案する。分散低減と効率的な線形最適化を活用することで、それぞれ$O(\sqrt{T})$の敵対的レジストと$O(T^{2/3})$の確率的レジストを達成し、ニュース選択、ネットワークフロー、行列補完の実験において、最先端のベースラインを上回る性能を発揮した。

ABSTRACT

Online optimization has been a successful framework for solving large-scale problems under computational constraints and partial information. Current methods for online convex optimization require either a projection or exact gradient computation at each step, both of which can be prohibitively expensive for large-scale applications. At the same time, there is a growing trend of non-convex optimization in machine learning community and a need for online methods. Continuous DR-submodular functions, which exhibit a natural diminishing returns condition, have recently been proposed as a broad class of non-convex functions which may be efficiently optimized. Although online methods have been introduced, they suffer from similar problems. In this work, we propose Meta-Frank-Wolfe, the first online projection-free algorithm that uses stochastic gradient estimates. The algorithm relies on a careful sampling of gradients in each round and achieves the optimal $O( \\sqrt{T})$ adversarial regret bounds for convex and continuous submodular optimization. We also propose One-Shot Frank-Wolfe, a simpler algorithm which requires only a single stochastic gradient estimate in each round and achieves an $O(T^{2/3})$ stochastic regret bound for convex and continuous submodular optimization. We apply our methods to develop a novel "lifting" framework for the online discrete submodular maximization and also see that they outperform current state-of-the-art techniques on various experiments.

研究の動機と目的

• 部分情報下での大規模な設定において、射影に基づくオンライン最適化の計算非効率性を解消すること。
• 実際には高価または不可能であるため、既存の射影フリー手法が正確な勾配計算を必要としているという制限を克服すること。
• 機械学習における急増している問題クラスである非凸だがサブモジュラーな最適化のための効率的なオンラインアルゴリズムを開発すること。
• 射影を一切行わず、線形最適化または1回の勾配サンプルのみを用いて、確率的勾配に基づく最適化をオンライン設定で可能にすること。
• 凸関数および連続的DR-サブモジュラー最適化の両方において、理論的レジストバウンドと実用的アルゴリズムを提供すること。

提案手法

• 各ラウンドで複数の確率的勾配サンプルを用いることで分散を低減し、$O(\sqrt{T})$のレジストを達成する射影フリーなオンラインアルゴリズム、Meta-Frank-Wolfeを提案する。
• 各ラウンドで1つの確率的勾配推定値のみを用いる、より単純なバージョンのOne-Shot Frank-Wolfeを導入し、$O(T^{2/3})$のレジストを達成する。
• Mokhtariら（2018）の平均化技術を活用して、確率的オンライン設定における勾配の分散を低減する。
• 射影ではなく制約集合上の線形最適化を用いることで、複雑な制約を伴う大規模問題へのスケーラビリティを実現する。
• 連続的サブモジュラー最適化を離散的オンラインサブモジュラー最大化に拡張するための新規なリフトフレームワークを開発する。
• 離散的サブモジュラー関数を連続空間で効率的に最適化できるように、多様線形拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配推定に強く、かつ最適なレジストバウンドを維持できるように、射影フリーなオンライン最適化を設計できるか？
• RQ2 分散低減された確率的勾配法と、Frank-Wolfe風の線形最適化を組み合わせることで、非凸なサブモジュラー目的関数に対しても有効に機能するか？
• RQ3 1ラウンドあたり1つの確率的勾配サンプルのみを用いる射影フリーなアルゴリズムの理論的レジスト性能は何か？
• RQ4 実世界の問題において、これらの手法は既存のオンラインアルゴリズムと比べて、レジストと計算効率の両面で優れているか？
• RQ5 離散的サブモジュラー関数の連続的リラクゼーションを、オンライン確率的設定で効果的に活用できるか？

主な発見

• Meta-Frank-Wolfeは、確率的勾配と分散低減を用いて、凸関数および連続的DR-サブモジュラー関数に対して$O(\sqrt{T})$の敵対的レジストを達成した。
• One-Shot Frank-Wolfeは、1ラウンドあたり1つの勾配サンプルのみを用いて$O(T^{2/3})$の確率的レジストを達成し、強い理論的保証を持つより単純な代替手法を提供した。
• 分散低減を施したMeta-Frank-Wolfeは、ニューストピックカバレッジ、ネットワークフロー、行列補完のタスクにおいて、すべてのベースラインを上回るレジスト性能を示した。
• 分散低減を施さないバージョンのMeta-Frank-Wolfeですら、他の分散低減を施さない手法を上回る性能を示しており、アルゴリズム設計の有効性を裏付けた。
• 分散低減を施したOS-Frank-Wolfeは、非分散低減バージョンよりも低いレジストを達成しており、分散低減技術の有効性を検証した。
• 分散低減を施したMeta-Frank-Wolfeは、SVD射影が高価であるためOGDに比べて5倍速く、競争力のあるレジスト性能を維持した。