[論文レビュー] Asynchronous Distributed Bilevel Optimization

Yang Jiao, Kai Yang+3 more|arXiv (Cornell University)|Dec 20, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、非凸目的関数を対象とした非同期分散二段階最適化アルゴリズム ADBO を提案する。下位問題を制約として扱うためにカットプレーン近似を用いる。ε-停留点に到達するまでの反復回数の複雑さは O(1/ε²) であり、遅延耐性を備えた分散型で現実的かつスケーラブルで頑健な学習を実現する。

ABSTRACT

Bilevel optimization plays an essential role in many machine learning tasks, ranging from hyperparameter optimization to meta-learning. Existing studies on bilevel optimization, however, focus on either centralized or synchronous distributed setting. The centralized bilevel optimization approaches require collecting massive amount of data to a single server, which inevitably incur significant communication expenses and may give rise to data privacy risks. Synchronous distributed bilevel optimization algorithms, on the other hand, often face the straggler problem and will immediately stop working if a few workers fail to respond. As a remedy, we propose Asynchronous Distributed Bilevel Optimization (ADBO) algorithm. The proposed ADBO can tackle bilevel optimization problems with both nonconvex upper-level and lower-level objective functions, and its convergence is theoretically guaranteed. Furthermore, it is revealed through theoretic analysis that the iteration complexity of ADBO to obtain the $ε$-stationary point is upper bounded by $\mathcal{O}(\frac{1}{ε^2})$. Thorough empirical studies on public datasets have been conducted to elucidate the effectiveness and efficiency of the proposed ADBO.

研究の動機と目的

• 中央集権的かつ同期型分散二段階最適化の限界、すなわち通信ボトルネック、データプライバシーのリスク、遅延するワーカー（ストラグル）問題を解消すること。
• 信頼性の低いまたは遅いワーカーを伴う大規模で分散型の機械学習システムにおいても収束性と効率性を維持する非同期分散アルゴリズムを設計すること。
• 非凸の上位および下位目的関数を伴う二段階最適化問題に対して、非同期更新のもとで理論的に収束を保証すること。
• ストラグル状態下での収束速度および頑健性の観点から、提案手法の優位性を実験的に検証すること。

提案手法

• ADBO は、下位最適化問題を制約として扱い、カットプレーンを用いて近似することで分散計算を可能にする。
• アルゴリズムは単一ループ構造を採用し、複数のワーカーが同期をとらずに上位および下位変数を非同期に更新する。
• パラメータサーバーアーキテクチャを採用しており、ワーカーは独立して勾配を計算し、中央サーバーに更新をプッシュする。これにより、障害耐性と待機時間の短縮が可能である。
• 反復を繰り返すうちに収縮する入れ子の実行可能領域の系列を活用し、停留点への収束を保証する。
• 下位問題からの暗黙的制約を扱うために、双対変数および補助変数を導入し、効率的な勾配ベースの更新を可能にする。
• 理論的分析により、非凸性が存在する中でも、ε-停留点に到達するまでの反復回数の複雑さが O(1/ε²) で有界であることが示された。

実験結果

リサーチクエスチョン

• RQ1 ストラグル問題を回避し、分散型システムにおいても収束性を維持する非同期分散二段階最適化アルゴリズムを設計可能か？
• RQ2 非凸目的関数を伴う非同期二段階最適化手法の理論的反復複雑さは何か？
• RQ3 提案手法 ADBO は、既存の中央集権的および同期型分散二段階最適化手法と比較して、実際の性能で優れているか？
• RQ4 カットプレーン近似は、非同期かつ分散環境下で下位問題の暗黙的制約を効果的に処理できるか？

主な発見

• ADBO は、ε-停留点に到達するまでの反復回数の複雑さが O(1/ε²) であり、非凸二段階最適化の最良既知の複雑さと一致する。
• MNIST、Fashion MNIST、CIFAR-10、Covertype、IJCNN1、Australian データセットにおける実験結果から、ADBO は最先端の中央集権的および同期型手法よりも収束が速いことが示された。
• 3人のストラグル（通常のワーカーより4倍遅い）を含む実験では、ADBO は安定した収束を維持し、同期ベースラインに比べて著しく優れた性能を示した。同期ベースラインは停止または著しく性能を落とした。
• 通信遅延やワーカー数の変動といった多様なデータセットおよびシステム設定において、ADBO は頑健性とスケーラビリティを示した。
• ステップサイズスケジュール（表2に要約）は各データセットごとにチューニングされたが、ADBO はすべての設定で安定的かつ効果的であった。