[論文レビュー] Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks

Shuoguang Yang, Xuezhou Zhang+1 more|arXiv (Cornell University)|Jun 22, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、隣人同士でのみ通信するネットワーク化されたエージェントを対象として、分散型のガッジベースの確率的二段階最適化アルゴリズムを提案する。この手法により、単一時スケールでの内部最適化と外部最適化が可能となる。非凸問題に対しては最適な $Ó(1/(K\epsilon^2))$ のサンプル複雑度を達成し、強い凸問題に対しては $Ó(1/(K\epsilon))$ を達成する。さらに、ネットワークサイズ $K$ に対して線形スケーリングの高速化を実現する。

ABSTRACT

Bilevel optimization have gained growing interests, with numerous applications found in meta learning, minimax games, reinforcement learning, and nested composition optimization. This paper studies the problem of distributed bilevel optimization over a network where agents can only communicate with neighbors, including examples from multi-task, multi-agent learning and federated learning. In this paper, we propose a gossip-based distributed bilevel learning algorithm that allows networked agents to solve both the inner and outer optimization problems in a single timescale and share information via network propagation. We show that our algorithm enjoys the $\mathcal{O}(\frac{1}{K ε^2})$ per-agent sample complexity for general nonconvex bilevel optimization and $\mathcal{O}(\frac{1}{K ε})$ for strongly convex objective, achieving a speedup that scales linearly with the network size. The sample complexities are optimal in both $ε$ and $K$. We test our algorithm on the examples of hyperparameter tuning and decentralized reinforcement learning. Simulated experiments confirmed that our algorithm achieves the state-of-the-art training efficiency and test accuracy.

研究の動機と目的

• マルチエージェントおよびフェデレーテッドラーニング環境における分散型確率的二段階最適化のための効率的アルゴリズムの不足に対処すること。
• 中央集権的な調整を避け、エージェントが隣人とのみローカルに通信することで、ネットワーク化されたエージェントが二段階最適化問題を解けるようにすること。
• サンプル複雑度の最適化と、ネットワークサイズ $K$ に対する収束速度の線形スケーリングを達成すること。
• ガッジベースの情報交換を用いて、内部問題と外部問題を同時に最適化する単一時スケールのアルゴリズムを開発すること。

提案手法

• 各エージェントが混合重みを用いて隣人との状態を平均化するガッジベースの通信プロトコルを採用し、ネットワーク全体に情報が伝搬されるようにする。
• 内部レベル（$y$）と外部レベル（$x$）の最適化を、確率的勾配を用いて同時に実行する単一時スケールの更新スキームを採用する。
• 一般の非凸および強い凸設定下でも収束を保証するため、内部ループおよび外部ループの両方に対して適応的ステップサイズを導入する。
• ローカルなサンプリングと反復的ガッジ更新を活用し、グローバルな同期を必要とせずに、内部問題 $y^*(x)$ の解を推定する。
• 一貫性を維持するために、合意形成平均化を用いた分散型確率的勾配降下フレームワークを適用する。
• 解析では二重ループ構造を用いるが、内部更新を外部更新の前に逐次実行することで、単一ループの形で実装する。

実験結果

リサーチクエスチョン

• RQ1 分散型二段階最適化アルゴリズムは、非凸設定下でも最適なサンプル複雑度を達成できるか。さらに、ネットワークサイズに線形にスケーリングできるか。
• RQ2 ガッジベースの通信は、中央サーバーが存在しない状況でも、エージェント間での効果的な情報共有を可能にするか。
• RQ3 エージェント数の増加に伴い、収束速度に線形スケーリングの高速化が得られるか。
• RQ4 ハイパーパramータチューニングや強化学習の実用的応用において、このアルゴリズムはどのように性能を発揮するか。

主な発見

• 一般の非凸二段階最適化問題に対して、エージェント1人あたりのサンプル複雑度が $Ó(1/(K\\epsilon^2))$ に達し、$\epsilon$ および $K$ の両方において最適である。
• 強い凸の目的関数に対しては、サンプル複雑度が $\u00d3(1/(K\epsilon))$ に達し、$\epsilon$ および $K$ においても最適である。
• シミュレーション実験の結果、線形スケーリングの高速化が確認された。ネットワークサイズ $K$ が増加しても、$\epsilon$-最適性に到達するための総サンプル数は概ね一定のままである。
• ハイパーパramータチューニングおよび分散型強化学習タスクにおいて、訓練効率とテスト精度の両面でベースラインを上回る性能を発揮した。
• ログサンプル対 $K$ の 75%信頼区間は、異なる精度水準（$\epsilon = 0.8\times10^{-6}, 1.5\times10^{-6}, 2\times10^{-6}$）において一貫した線形スケーリングの高速化を示している。
• 理論的解析により、収束が静止点に向かうことが確認され、収束速度は $\frac{1}{T}\sum_{t=0}^{T-1}\|\nabla F(x_t)\|^2 = \u00d3(1/\sqrt{KT})$ である。