[論文レビュー] A Generic Descent Aggregation Framework for Gradient-based Bi-level Optimization.

Risheng Liu, Pan Mu+3 more|arXiv (Cornell University)|Feb 16, 2021

Sparse and Compressive Sensing Techniques参考文献 50被引用数 4

ひとこと要約

本稿では、勾配ベースの二段階最適化における制限的な下位層単一性（LLS）仮定を緩和するため、汎用的な二段階降下集約（BDA）フレームワークを提案する。BDAは階層的目的関数の集約とタスク固有の反復ダイナミクスの可能を可能にし、LLSを必要とせず収束を保証するとともに、一工程の手法によりバックプロパゲーションを高速化し、ハイパーパramータチューニングおよびメタラーニングにおいて先行手法を上回る性能を発揮する。

ABSTRACT

In recent years, gradient-based methods for solving bi-level optimization tasks have drawn a great deal of interest from the machine learning community. However, to calculate the gradient of the best response, existing research always relies on the singleton of the lower-level solution set (a.k.a., Lower-Level Singleton, LLS). In this work, by formulating bi-level models from an optimistic bi-level viewpoint, we first establish a novel Bi-level Descent Aggregation (BDA) framework, which aggregates hierarchical objectives of both upper level and lower level. The flexibility of our framework benefits from the embedded replaceable task-tailored iteration dynamics modules, thereby capturing a wide range of bi-level learning tasks. Theoretically, we derive a new methodology to prove the convergence of BDA framework without the LLS restriction. Besides, the new proof recipe we propose is also engaged to improve the convergence results of conventional gradient-based bi-level methods under the LLS simplification. Furthermore, we employ a one-stage technique to accelerate the back-propagation calculation in a numerical manner. Extensive experiments justify our theoretical results and demonstrate the superiority of the proposed algorithm for hyper-parameter optimization and meta-learning tasks.

研究の動機と目的

• 既存の勾配ベースの二段階最適化手法が制限的な下位層単一性（LLS）仮定に依存するという限界を解決すること。
• 置き換え可能でタスクに特化した反復ダイナミクスを備えた、多様な二段階学習タスクを捉えることが可能な柔軟なフレームワークの開発。
• LLS仮定を必要としない新しい理論的証明手法を構築し、BDAフレームワークの収束を示す。
• 提案された証明手法を用いて、LLS簡略化のもとでの従来の勾配ベースの二段階最適化手法の収束保証を強化すること。
• 新たな一工程数値計算手法を用いて、二段階最適化におけるバックプロパゲーションの高速化を実現すること。

提案手法

• 上位および下位の両レベルにおける階層的目的関数の集約を可能にするために、楽観的二段階最適化の観点から二段階最適化を定式化する。
• タスク固有の適応に適したモジュラーで置き換え可能な反復ダイナミクスを備えた、二段階降下集約（BDA）フレームワークを設計する。
• LLS仮定を必要としない新しい収束証明アプローチを導出することで、より広範な理論的有効性を実現する。
• 新しい証明手法を適用し、LLS簡略化のもとでの既存の勾配ベースの二段階最適化手法の収束結果を精緻化する。
• 勾配計算における計算オーバーヘッドを低減することで、バックプロパゲーションの計算を高速化する一工程手法を実装する。
• ハイパーパramータ最適化およびメタラーニングのための標準的な二段階学習パイプラインにBDAフレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 制限的な下位層単一性（LLS）仮定を必要としない汎用的な二段階最適化フレームワークを設計できるか？
• RQ2 上位および下位の両レベルからの階層的目的関数を、多様な学習タスクをサポートする形で効果的に集約できるか？
• RQ3 LLSに依存しない新しい理論的証明フレームワークを構築し、二段階最適化手法の収束を示せるか？
• RQ4 提案された証明手法は、LLS条件下での既存の勾配ベースの二段階最適化手法の収束保証をどの程度向上できるか？
• RQ5 一工程バックプロパゲーション高速化手法は、実際の計算コスト低減にどの程度効果的か？

主な発見

• BDAフレームワークは、下位層単一性（LLS）仮定を必要とせず収束を達成し、二段階最適化の理論的範囲を拡張した。
• 提案された証明手法により、LLS簡略化のもとでの従来の勾配ベースの二段階最適化手法の収束結果が改善された。
• 一工程バックプロパゲーション手法により、BDAフレームワークにおける勾配計算が顕著に高速化された。
• 広範な実験により理論的主張が裏付けられ、ハイパーパramータチューニングタスクにおいて優れた性能を示した。
• BDAフレームワークは、既存の手法と比較してメタラーニングベンチマークでも顕著な実験的優位性を示した。
• BDAのモジュラー設計により、タスクに特化した反復ダイナミクスを用いた、さまざまな二段階学習タスクへの効果的な適応が可能となった。