[論文レビュー] A Modular Analysis of Adaptive (Non-)Convex Optimization: Optimism, Composite Objectives, and Variational Bounds

Pooria Joulani, András György+1 more|arXiv (Cornell University)|Sep 8, 2017

Advanced Bandit Algorithms Research参考文献 4被引用数 7

ひとこと要約

本稿では、適応的（非）凸オンライン最適化アルゴリズムの分析のためのモジュラーで統一的なフレームワークを提示する。新規のレグレット分解と一般化されたブレグマンダイバージェンスを活用し、適応性、楽観性、合成目的関数といったアルゴリズム的技術を滑らかに統合する。主な貢献は、柔軟な解析により、最小限の仮定のもとで改善された変動的バウンディングの導出と、非凸設定への拡張を可能にすることである。

ABSTRACT

Recently, much work has been done on extending the scope of online learning and incremental stochastic optimization algorithms. In this paper we contribute to this effort in two ways: First, based on a new regret decomposition and a generalization of Bregman divergences, we provide a self-contained, modular analysis of the two workhorses of online learning: (general) adaptive versions of Mirror Descent (MD) and the Follow-the-Regularized-Leader (FTRL) algorithms. The analysis is done with extra care so as not to introduce assumptions not needed in the proofs and allows to combine, in a straightforward way, different algorithmic ideas (e.g., adaptivity, optimism, implicit updates) and learning settings (e.g., strongly convex or composite objectives). This way we are able to reprove, extend and refine a large body of the literature, while keeping the proofs concise. The second contribution is a byproduct of this careful analysis: We present algorithms with improved variational bounds for smooth, composite objectives, including a new family of optimistic MD algorithms with only one projection step per round. Furthermore, we provide a simple extension of adaptive regret bounds to practically relevant non-convex problem settings with essentially no extra effort.

研究の動機と目的

• 既存のオンラインおよび確率的最適化アルゴリズムの解析におけるモularityの欠如に起因する問題に対処する。これは、各新しいアルゴリズム的技術や学習設定の組み合わせに対して再解析を要する傾向がある。
• 適応的、楽観的、陰的、合成目的関数技術を、1つの解析的フレームワーク内で滑らかに統合することを可能にする。
• 滑らかさと強い凸性を仮定したレギュレーターバウンディングを、非凸設定（具体的にはτ-star-strongly convexおよび滑らかさを持つ目的関数）にまで拡張し、タイトな性能保証を維持すること。
• FTRLおよびミラー降下の変種（FTRL-Proxおよび適応的バージョンを含む）を最小限の仮定で統一的に取り扱うこと。
• 外部情報（例：スパarsity誘導ペナルティ）を構造的正則化子を通じて原理的かつ直接に組み込む方法を提供し、再びバウンディングを从来から導出する必要を回避すること。

提案手法

• アルゴリズム的レグレットと問題固有の仮定を分離する新しいレグレット分解（補題2.1）を導入し、モジュラーな解析を可能にする。
• 適応的および合成目的関数をサポートするようブレグマンダイバージェンスを一般化し、FTRLおよびMDフレームワークにおける柔軟な正則化を可能にする。
• 2段階のレグレットバウンディングを採用：1つ目はアルゴリズムの内生的性能を捉え、2つ目は滑らかさや凸性といった仮定をアルゴリズムの挙動と結びつける。
• フレームワークを適用して、滑らかで合成的な目的関数に対する改善された変動的バウンディングを導出。特に、1ラウンドにつき1回のプロジェクションのみを必要とする、新しい楽観的MDの族を提案。
• 正則化子の成分に二重の役割を割り当てる：$q_t$ は外部情報（例：スパarsity）を組み込むため、$p_t$ は近接構造を維持するため。
• FTRL-ProxおよびAda-MDへの拡張が、最小限の変更で同じレグレット構造を保つことから、フレームワークが自然にそれらへ拡張可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 1つの解析的フレームワークが、適応的、楽観的、合成目的関数を含む多様なオンライン最適化アルゴリズムの分析を統一的に可能にするか？
• RQ2 適応性、楽観性、陰的更新といった異なるアルゴリズム的要素を、再びバウンディングを導出することなく、モジュラーに組み合わせることは可能か？
• RQ3 滑らかで強く凸な損失関数に対するレギュレーターバウンディングを、非凸設定（例：τ-star-strongly convex関数）へどの程度一般化できるか？
• RQ4 統一的なアプローチにより、滑らかで合成的な目的関数に対する改善された変動的バウンディングを導出可能か？
• RQ5 FTRL-Proxおよび適応的バージョンを、別々の導出を伴わず、同一のフレームワークで解析可能か？

主な発見

• 提案されたレグレット分解により、モジュラーな解析が可能となり、アルゴリズム設計と問題仮定の分離が達成され、異なる設定に再利用可能である。
• フレームワークは既存の結果を回復・精緻化し、楽観的オンライン学習における改善された定数を達成するが、仮定は最小限にとどまる。
• 1ラウンドにつき1回のプロジェクションのみを必要とする、新しい楽観的MDアルゴリズムの族を導入。滑らかで合成的な目的関数に対して、よりタイトな変動的バウンディングを達成する。
• τ-star-strongly convexクラスを介して非凸設定への解析が拡張可能であることを示し、適応的アルゴリズムが凸性の外でも解析可能であることを実証した。
• Ada-FTRLおよびAda-MDを、合成目的関数（例：L1正則化問題）に直接拡張可能であり、再導出を必要としない。
• 本手法により、FTRL-Proxや楽観的バージョンの別々の解析を回避でき、$q_t$および$p_t$項の構造が自然にそれらの特徴を組み込む。