[論文レビュー] Randomized Stochastic Variance-Reduced Methods for Multi-Task Stochastic Bilevel Optimization

Zhishuai Guo, Quanqi Hu+2 more|arXiv (Cornell University)|May 5, 2021

Stochastic Gradient Optimization Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、非凸多タスク確率的バイレベル最適化のための確率的分散低減アルゴリズムを提案し、1タスク問題では$O(1/\epsilon^3)$、多タスク問題では$O(m/\epsilon^3)$のサンプル複雑度を達成する。各イテレーションで下位レベル問題を定数個しか処理しないが、非凸確率的最適化の最先端のサンプル複雑度に一致し、最適収束レートを達成する多タスクバイレベル問題に初めて対応した。

ABSTRACT

In this paper, we consider non-convex stochastic bilevel optimization (SBO) problems that have many applications in machine learning. Although numerous studies have proposed stochastic algorithms for solving these problems, they are limited in two perspectives: (i) their sample complexities are high, which do not match the state-of-the-art result for non-convex stochastic optimization; (ii) their algorithms are tailored to problems with only one lower-level problem. When there are many lower-level problems, it could be prohibitive to process all these lower-level problems at each iteration. To address these limitations, this paper proposes fast randomized stochastic algorithms for non-convex SBO problems. First, we present a stochastic method for non-convex SBO with only one lower problem and establish its sample complexity of $O(1/ε^3)$ for finding an $ε$-stationary point under Lipschitz continuous conditions of stochastic oracles, matching the lower bound for stochastic smooth non-convex optimization. Second, we present a randomized stochastic method for non-convex SBO with $m>1$ lower level problems (multi-task SBO) by processing a constant number of lower problems at each iteration, and establish its sample complexity no worse than $O(m/ε^3)$, which could be a better complexity than that of simply processing all $m$ lower problems at each iteration. Lastly, we establish even faster convergence results for gradient-dominant functions. To the best of our knowledge, this is the first work considering multi-task SBO and developing state-of-the-art sample complexity results.

研究の動機と目的

• 既存の確率的バイレベル最適化アルゴリズムにおける高いサンプル複雑度を是正すること。非凸確率的最適化の$O(1/\epsilon^3)$の下界に一致しない。
• 各イテレーションですべての$m$個の下位レベル問題を処理する既存手法の制限を克服すること。$m$が大きい場合には計算コストが膨大になる。
• 各イテレーションで下位レベル問題を定数個しか処理しないが、最適収束レートを維持できる確率的ステップスケール手法を開発すること。
• リプシッツ連続な確率的オракルを仮定したもとで、単一タスクおよび多タスク非凸確率的バイレベル最適化問題における理論的サンプル複雑度の上限を確立すること。
• 勾配優位関数へのフレームワークの拡張を図り、一般の非凸ケースと比較してより高速な収束レートを達成すること。

提案手法

• 下位レベル問題のヘッセ行列とヤコビ行列の近似における分散を低減するための再帰的勾配推定器を用いる、単一タスク非凸SBOのための確率的分散低減手法（SVRB）を導入する。
• 各イテレーションで定数個の下位レベル問題をサンプリングする、多タスクSBOのための確率的ステップスケールアルゴリズム（RSVRB）を提案。計算コストを低減しつつ収束性を維持する。
• 下位レベル問題のヘッセ行列とヤコビ行列の推定に再帰的分散低減技術を採用し、安定性と収束性を向上させる。
• 大規模ミニバッチや二重ループ構造を回避するため、単一ループ・単一タイムスケールの更新スキームと適応的ステップサイズを採用する。
• 下位レベル変数の更新において、ヘッセ・ベクトル積を効率的に計算するための共役勾配法を適用する。
• 探索と計算効率のバランスを取るために、$m$個の下位レベル問題に対して確率的サンプリング戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 非凸問題において、最適な$O(1/\epsilon^3)$のサンプル複雑度を達成できるステップスケールバイレベル最適化アルゴリズムは構築可能か。これは、標準的な非凸確率的最適化の下界に一致する。
• RQ2 $m \gg 1$であっても、各イテレーションで下位レベル問題を定数個しか処理しないバイレベルアルゴリズムは、収束レートを劣化させることなく設計可能か。
• RQ3 多タスク設定における、提案手法のサンプル複雑度は、下位レベル問題数$m$に対してどのようにスケーリングされるか。
• RQ4 勾配優位関数に対して、一般の非凸ケースと比較して、提案手法はより高速な収束レートを達成できるか。
• RQ5 特に下位レベルタスク数が多い場合に、提案アルゴリズムは実用的にスケーラブルで効率的か。

主な発見

• 提案されたSVRB手法は、単一タスク非凸SBOにおいて$O(1/\epsilon^3)$のサンプル複雑度を達成し、非凸確率的最適化の既知の下界に一致する。
• 下位レベル問題が$m$個ある多タスクSBOにおいて、RSVRB手法は$O(m/\epsilon^3)$のサンプル複雑度を達成する。$m$が大きい場合には、すべての$m$個の問題を各イテレーションで処理する手法よりも優れている。
• ロジスティック回帰およびハイパーパramータ最適化タスクにおいて、STABLE、TTSA、BSAといった既存のベースラインと比較して、サンプル複雑度と実行時間の両面で優れた性能を示す。
• UCI Adultおよびウェブページ分類データセットを用いた実験では、目的関数値と実行時間の両面で、RSVRBはSTABLEおよび他のベースラインを上回る収束速度を示す。
• 200または500個の下位レベル問題を含む多タスクハイパーパramータ最適化において、RE-RSVRBは収束速度と安定性の両面でベースラインを著しく上回る。
• 下位レベル問題数が増加しても、性能が著しく低下せず、大規模な設定においてもスケーラビリティとロバストネスを維持する。