[論文レビュー] BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach

Mao Ye, Бо Лю+3 more|arXiv (Cornell University)|Sep 19, 2022

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、値関数アプローチを用いて問題を再定式化し、動的バリア勾配降下法を適用することで、暗黙の微分を回避するシンプルな1次順のバイレベル最適化手法BOMEを提案する。非凸目的関数に対し、非漸近的収束を達成し、完全に1次順のバイレベル手法において初めての結果をもたらし、深層学習ベンチマークにおいて優れた効率性と性能を示す。

ABSTRACT

Bilevel optimization (BO) is useful for solving a variety of important machine learning problems including but not limited to hyperparameter optimization, meta-learning, continual learning, and reinforcement learning. Conventional BO methods need to differentiate through the low-level optimization process with implicit differentiation, which requires expensive calculations related to the Hessian matrix. There has been a recent quest for first-order methods for BO, but the methods proposed to date tend to be complicated and impractical for large-scale deep learning applications. In this work, we propose a simple first-order BO algorithm that depends only on first-order gradient information, requires no implicit differentiation, and is practical and efficient for large-scale non-convex functions in deep learning. We provide non-asymptotic convergence analysis of the proposed method to stationary points for non-convex objectives and present empirical results that show its superior practical performance.

研究の動機と目的

• 大規模な非凸深層学習問題に適した実用的で、効率的かつ完全に1次順のバイレベル最適化手法の開発。
• 従来の手法で計算コストが高くなるヘッセ行列の計算と暗黙の微分の必要性を排除すること。
• 非凸目的関数に対して、完全に1次順のアプローチにおいて非漸近的収束保証を確立すること、これは先行研究におけるギャップである。
• 理論的にも的確であり、多様な機械学習応用分野において実証的にも有効な手法を提供すること。

提案手法

• 値関数に基づくアプローチを用いて、バイレベル問題を1段階の制約付き最適化問題に再定式化する。
• Gongら[16]に基づく修正版の動的バリア勾配降下法を適用し、fおよびgの1次勾配のみを用いる。
• 最適化プロセスにおける停留性を測定するために、KKTに基づく損失関数を導入する。
• ヘッセ行列の計算を避けるために、高階の情報を含む変数に対してストッピング勾配を適用する。
• リプシッツ連続性および強い凸性の仮定を活用して収束バウンドを導出する。
• 内側問題の最適性条件を満たすために、適応的ペナルティを用いたバリア法を採用する。

実験結果

リサーチクエスチョン

• RQ1 完全に1次順のバイレベル最適化手法は、非凸目的関数に対して非漸近的収束を停留点へ達成できるか？
• RQ2 そのような手法は、大規模な深層学習環境において計算的にも効率的で、実用的にも有効であるか？
• RQ3 BSG-1 や BVFSM といった既存の1次順手法と比較して、収束性およびロバスト性においてどのように差がつくか？
• RQ4 暗黙の微分なしの1次順バイレベル手法の理論的収束速度は何か？
• RQ5 この手法はハイパーパramータ最適化、メタラーニング、継続的学習タスクに効果的に応用可能か？

主な発見

• 提案手法BOMEは、非凸なfおよびgに対して非漸近的収束を停留点へ達成し、完全に1次順のバイレベル手法において初の結果である。
• 収束レートは、O(1/(ξK) + exp(−b₁T/2) + ξ¹ᐟ² + 1/(ξ¹ᐟ²K¹ᐟ²) + (1/K ∑χₖ)¹ᐟ²) でバウンドされ、理論的ロバスト性を示す。
• 実験結果では、ハイパーパramータチューニング、メタラーニング、継続的学習ベンチマークにおいて、最先端の手法と同等またはそれを上回る性能を示す。
• ヘッセ行列に基づく手法よりも著しく効率的であり、BVFSMのハイパーパramータ感受性を回避する。
• 複雑なチューニングを必要とせず、多様な深層学習タスクにおいて安定した性能を示す。
• 解析により、反復回数Kとペナルティパラメータξの増加に伴い、収束速度が向上するKKT点への収束が保証される。