[論文レビュー] FedNest: Federated Bilevel, Minimax, and Compositional Optimization

Davoud Ataee Tarzanagh, Mingchen Li+2 more|arXiv (Cornell University)|May 4, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

FedNestは、交互に逐次的分散還元と通信効率の良い超勾配計算を用いて、二重最適化、ミニマックス、合成的最適化問題のための新しいフェデレーテッド最適化フレームワークを提案する。$O(\epsilon^{-2})$のサンプル複雑度を達成し、任意のクライント非均質性下でも非フェデレーテッド最先端のレートと同等の保証収束を達成する。

ABSTRACT

Standard federated optimization methods successfully apply to stochastic problems with single-level structure. However, many contemporary ML problems -- including adversarial robustness, hyperparameter tuning, and actor-critic -- fall under nested bilevel programming that subsumes minimax and compositional optimization. In this work, we propose \fedblo: A federated alternating stochastic gradient method to address general nested problems. We establish provable convergence rates for \fedblo in the presence of heterogeneous data and introduce variations for bilevel, minimax, and compositional optimization. \fedblo introduces multiple innovations including federated hypergradient computation and variance reduction to address inner-level heterogeneity. We complement our theory with experiments on hyperparameter \& hyper-representation learning and minimax optimization that demonstrate the benefits of our method in practice. Code is available at https://github.com/ucr-optml/FedNest.

研究の動機と目的

• ハイパーパramータチューニング、敵対的ロバストネス、アクタクリティック強化学習などのネストされた最適化問題のためのフェデレーテッドアルゴリズムの欠如に対処すること。
• 任意のクライント非均質性を扱い、フェデレーテッド二重最適化設定におけるクライントドリフトを回避する通信効率の良い手法を開発すること。
• 二重最適化、ミニマックス、合成的最適化のフェデレーテッド最適化を、1つの保証収束可能なフレームワークで統一すること。
• 明示的なヘッセ行列計算を避けて、正確な超勾配推定を可能にすることにより、通信および計算のオーバーヘッドを低減すること。
• ハイパーパramータ学習およびミニマックス最適化の実験を通じて、実用的利点を示すこと。

提案手法

• FedNestは、内部変数と外部変数の間で交互に更新を行うスケームを採用し、クライントドリフトを軽減するため、内側の問題に対してFedSVRGを適用する。
• FedInnは、データ非均質性にもかかわらず、局所モデルのグローバル収束を保証するフェデレーテッド確率的分散還元アルゴリズムである。
• FedOutは、行列-ベクトル乗算のみを用いて、逆ヘッセ行列-勾配積により超勾配を計算する。明示的なヘッセ行列計算を回避する。
• 通信効率の良い行列-ベクトル乗算を活用し、数回のラウンドでグローバルな逆ヘッセ行列-勾配積を推定する。
• LFedNestは、軽量なバージョンであり、超勾配を局所で計算し、外側の反復ごとに1回のみ通信するため、通信効率が向上する。
• このフレームワークはミニマックスおよび合成的最適化に一般化され、収束解析が単純化され、先行するフェデレーテッド手法よりも性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 任意のクライントデータ非均質性下でも、保証収束を達成するフェデレーテッド二重最適化が可能か？
• RQ2 明示的なヘッセ行列の逆行列を計算せずに、フェデレーテッド二重最適化設定で超勾配計算をどのように通信効率的に実現できるか？
• RQ3 フェデレーテッドネスト最適化のサンプル複雑度は何か？非フェデレーテッド最先端のレートと一致するか？
• RQ4 フェデレーテッドミニマックス最適化において、交互にSVRG更新と同時に更新の比較では、どちらが優れるか？
• RQ5 LFedNestにおける局所的超勾配計算は、通信ラウンドを削減しながらも収束性を維持できるか？

主な発見

• FedNestは、$O(\epsilon^{-2})$のサンプル複雑度を達成し、$\epsilon$-停留点を求める際に非フェデレーテッド最先端の境界と一致する。
• FedInnは、クライントドリフトやデータ非均質性があっても、局所モデルが内側問題の唯一のグローバル最小値に収束することを保証する。
• FedOutは、行列-ベクトル乗算により超勾配を計算し、明示的なヘッセ行列計算を回避することで通信コストを低減する。
• LFedNestは、外側通信ラウンドを1回のみに抑えながらも、競争力ある性能を達成し、ミニマックス問題ではFedAvg-Sを上回る。
• 実験では、FedNestおよびLFedNestが、サドルポイント探索およびハイパーパramータ学習タスクにおいて、FedAvg-Sを著しく上回ることが示された。
• 本手法はミニマックスおよび合成的問題に一般化可能であり、収束保証が単純化され、先行するフェデレーテッド手法よりも収束が速い。