[論文レビュー] UFO-BLO: Unbiased First-Order Bilevel Optimization

Valerii Likhosherstov, Xingyou Song+3 more|arXiv (Cornell University)|Jun 5, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用数 5

ひとこと要約

本稿では、FO-BLOと同等のO(1)のメモリとO(r)の期待時間計算量を維持しながら、不偏勾配推定を達成し、弱い仮定の下でバイレベル目的関数の停留点への収束を保証する、新しい一次順序バイレベル最適化手法UFO-BLOを提案する。この手法は、FO-BLOにまれな正確な勾配補正を組み合わせることでバイアスを是正し、FO-BLOの主要な理論的限界を解消する。

ABSTRACT

Bilevel optimization (BLO) is a popular approach with many applications including hyperparameter optimization, neural architecture search, adversarial robustness and model-agnostic meta-learning. However, the approach suffers from time and memory complexity proportional to the length $r$ of its inner optimization loop, which has led to several modifications being proposed. One such modification is extit{first-order} BLO (FO-BLO) which approximates outer-level gradients by zeroing out second derivative terms, yielding significant speed gains and requiring only constant memory as $r$ varies. Despite FO-BLO's popularity, there is a lack of theoretical understanding of its convergence properties. We make progress by demonstrating a rich family of examples where FO-BLO-based stochastic optimization does not converge to a stationary point of the BLO objective. We address this concern by proposing a new FO-BLO-based unbiased estimate of outer-level gradients, enabling us to theoretically guarantee this convergence, with no harm to memory and expected time complexity. Our findings are supported by experimental results on Omniglot and Mini-ImageNet, popular few-shot meta-learning benchmarks.

研究の動機と目的

• 一次順序バイレベル最適化（FO-BLO）における理論的収束保証の欠如に取り組むこと。FO-BLOは、既知の収束失敗を伴いながらも広く使用されている。
• FO-BLOの計算効率（O(1)のメモリ、O(r)の時間）を維持しながら、不偏勾配推定を達成する手法を開発すること。
• 弱い仮定の下で、バイレベル目的関数の停留点への収束を理論的に保証すること。
• Omniglot や Mini-ImageNet などの少サンプル学習ベンチマーク上で、手法を実証的に検証すること。

提案手法

• O(1)のメモリを要するが、O(r²)の時間計算量を要する、ゆっくりとした正確なBLO勾配計算手法を提案し、勾配補正の基準として用いる。
• 確率的補正機構を導入：外ループの各反復において、正確な勾配が確率的にr⁻¹の確率で計算される。
• FO-BLOとまれな正確な勾配補正を組み合わせてUFO-BLOを構築し、外側の勾配が不偏であることを保証する。
• 正確な勾配補正をまれにしか計算しないランダムサンプリング戦略を採用することで、期待時間およびメモリ計算量を維持する。
• FO-BLOのバイアスのある勾配を補正するための補正を適用し、計算コストを増加させることなく収束を保証する。
• 確率的近似とリャプノフ関数に基づく理論的枠組みを用いて、弱い仮定の下での収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 実用的なバイレベル最適化設定において、FO-BLOは停留点への収束に失敗することがあるか？
• RQ2 メモリまたは時間計算量を増加させることなく、バイレベル最適化における不偏勾配推定を達成可能か？
• RQ3 FO-BLOの効率性と正確なBLOの収束保証を組み合わせることは可能か？
• RQ4 バイアスのある勾配を有する確率的バイレベル最適化アルゴリズムの収束を保証する理論的条件は何か？
• RQ5 提案手法は、標準的な少サンプルメタラーニングベンチマーク（FO-BLOと比較して）でどのように性能を発揮するか？

主な発見

• 構築された反例により、豊富な問題定式化の族を用いて、FO-BLOがバイレベル目的関数の停留点への収束に失敗することが実証された。
• UFO-BLOは、FO-BLOと同等のO(1)のメモリとO(r)の期待時間計算量を維持しながら、停留点への収束を保証する。
• 理論的分析により、UFO-BLOが弱い仮定の下で停留点への収束を達成することが証明され、FO-BLOの主要な限界が解消された。
• OmniglotおよびMini-ImageNetにおける実験結果から、UFO-BLOはFO-BLOよりも高速かつ安定した収束を達成しており、勾配がゼロに近づくことが確認された。
• 理論的および実験的両面から確認されたように、UFO-BLOは計算効率を損なわずに外側の勾配バイアスを効果的に低減した。
• FO-BLOとは異なり、UFO-BLOでは勾配ノルムがゼロに収束することが確認され、不偏推定の理論的利点が裏付けられた。