[論文レビュー] A framework for bilevel optimization that enables stochastic and global variance reduction algorithms

Mathieu Dagréou, Pierre Ablin+2 more|arXiv (Cornell University)|Jan 31, 2022

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

本稿では、陰関数定理に由来する線形方程式の解を含め、外側変数、内側変数、およびその解を同時に最適化する、革新的な二段階最適化フレームワークを提案する。更新方向を $F_j$ および $G_i$ の個々の勾配の和として表現することで、不偏な確率的推定器を可能にし、$O(1/T)$ 収束とポリャク＝ロジャスエフィッチ条件下での線形収束を達成する分散低減アルゴリズム SABA を得る。これは、これらの収束レートを達成する最初の確率的二段階最適化手法である。

ABSTRACT

Bilevel optimization, the problem of minimizing a value function which involves the arg-minimum of another function, appears in many areas of machine learning. In a large scale empirical risk minimization setting where the number of samples is huge, it is crucial to develop stochastic methods, which only use a few samples at a time to progress. However, computing the gradient of the value function involves solving a linear system, which makes it difficult to derive unbiased stochastic estimates. To overcome this problem we introduce a novel framework, in which the solution of the inner problem, the solution of the linear system, and the main variable evolve at the same time. These directions are written as a sum, making it straightforward to derive unbiased estimates. The simplicity of our approach allows us to develop global variance reduction algorithms, where the dynamics of all variables is subject to variance reduction. We demonstrate that SABA, an adaptation of the celebrated SAGA algorithm in our framework, has $O(\frac1T)$ convergence rate, and that it achieves linear convergence under Polyak-Lojasciewicz assumption. This is the first stochastic algorithm for bilevel optimization that verifies either of these properties. Numerical experiments validate the usefulness of our method.

研究の動機と目的

• 機械学習分野における大規模な二段階最適化のスケーラブルな確率的アルゴリズムの開発という課題に取り組む。
• 目的関数勾配におけるヘッセ行列の逆行列に起因する不偏勾配推定の難しさを克服する。
• 単一段階最適化で成功した分散低減技術を、二段階最適化の文脈に適用可能にする。
• 非凸設定下で、単一段階最適化の同等の手法（例：SAGA）と同等の収束レートを達成する。
• 非凸およびPL正則化設定の両方に対して理論的保証を提供する。

提案手法

• 外側変数、内側変数、および線形方程式の解が同時に進化する共同最適化フレームワークを提案する。
• $F_j$ および $G_i$ の個々の勾配の和として更新方向を表現することで、不偏な確率的推定器を可能にする。
• 減少するステップサイズを用いたこのフレームワークに基づく確率的勾配変種 SOBA を設計する。
• 履歴勾配追跡を用いて二段階最適化フレームワークに適応した、SAGA の分散低減拡張版である SABA を開発する。
• 収束解析に用いるリャプノフ関数 $\mathcal{L}^t$ を導入し、外側、内側、線形方程式の解の誤差を統合する。
• ヤングの不等式と強凸性の仮定を用いて、誤差伝搬を制御した降下補題を導出する。

実験結果

リサーチクエスチョン

• RQ1 $O(1/T)$ 収束率を達成する確率的二段階最適化アルゴリズムを設計することは可能か？
• RQ2 ポリャク＝ロジャスエフィッチ条件下で、確率的手法を用いて二段階最適化で線形収束を達成することは可能か？
• RQ3 単一段階最適化で成功した分散低減技術を、二段階最適化問題に効果的に適応できるか？
• RQ4 ヘッセ行列の逆行列が関与する二段階勾配のための不偏な確率的推定器をどのように構築できるか？
• RQ5 リプシッツ勾配や強凸性といったより弱い正則性仮定のもとで、どのような収束レートが達成可能か？

主な発見

• SABA は、平均二乗勾配ノルムの $O(1/T)$ 収束率を達成し、単一段階最適化における SAGA の最高水準のレートと一致する。
• ポリャク＝ロジャスエフィッチ条件下では、SABA は線形収束を達成し、これはこの性質を持つ最初の確率的二段階最適化手法である。
• 減少するステップサイズを用いた場合、SOBA は $\mathbb{E}[\nabla h(x^t)^2] = O(\log(T) T^{-1/2})$ の収束率を達成する。
• 更新を個々の勾配の和として表現することで、ヘッセ行列の逆行列に起因する課題を克服し、不偏な確率的推定器を実現するフレームワークが可能である。
• より弱い正則性仮定のもとでは、SABA は $O((n+m)\epsilon^{-1})$ のサンプル複雑度を達成し、フルバッチ版の SOBA と同等の性能を示すが、収束レートは $O(T^{-2/5})$ に低下する。
• 理論的解析により、強い仮定のもとでリャプノフ関数 $\mathcal{L}^t$ が幾何的に減少することを示し、線形収束を証明した。