[論文レビュー] On the Outsized Importance of Learning Rates in Local Update Methods

Zachary Charles, Jakub Konečný|arXiv (Cornell University)|Jul 2, 2020

Stochastic Gradient Optimization Techniques参考文献 60被引用数 20

ひとこと要約

本稿では、FedAvg などのローカルアップデート手法が、クライントの学習率が、補助損失関数の条件数と真の損失関数との整合性の間で決定的に影響を与える二次的設定において、補助損失関数上で確率的勾配降下法を実行することを確立している。著者らは、このトレードオフを明示的に示す収束レートを導出し、通信制限のある環境でのパフォーマンス向上を図るために、調整の負担を軽減する実用的な自動的学習率減衰戦略を提案している。

ABSTRACT

We study a family of algorithms, which we refer to as local update methods, that generalize many federated learning and meta-learning algorithms. We prove that for quadratic objectives, local update methods perform stochastic gradient descent on a surrogate loss function which we exactly characterize. We show that the choice of client learning rate controls the condition number of that surrogate loss, as well as the distance between the minimizers of the surrogate and true loss functions. We use this theory to derive novel convergence rates for federated averaging that showcase this trade-off between the condition number of the surrogate loss and its alignment with the true loss function. We validate our results empirically, showing that in communication-limited settings, proper learning rate tuning is often sufficient to reach near-optimal behavior. We also present a practical method for automatic learning rate decay in local update methods that helps reduce the need for learning rate tuning, and highlight its empirical performance on a variety of tasks and datasets.

研究の動機と目的

• ミニバッチSGD よりも実用的であるローカルアップデート手法（例：FedAvg や MAML）が、理論的保証が弱いにもかかわらず、なぜ実際の応用で優れているのかを理解すること。
• 不均一なデータ設定におけるローカルアップデート手法の挙動を、取り扱いやすく有用なケースとしての二次的目的関数に焦点を当てて分析すること。
• ローカルアップデート手法が暗黙的に最適化する補助損失関数を特徴づけ、特に学習率などのアルゴリズム的選択が収束性と解の品質に与える影響を特定すること。
• 調整の負担を軽減し、通信制限のあるフェデレーテッドラーニングにおけるパフォーマンスを向上させるための実用的改善策（例：学習率の分離、自動的学習率減衰）を開発すること。

提案手法

• 理論的分析により、二次的目的関数におけるローカルアップデート手法が、明確に定義された補助損失関数上で確率的勾配降下法と等価であることが示され、この補助損失関数は真の損失関数とクライントのデータ分布の観点から正確に特徴づけられている。
• 本稿では、補助損失関数の明示的表現を導出し、クライントの学習率がこの補助損失の条件数と、その最小値と真の損失の最小値との距離の両方を制御することが示されている。
• FedAvg の収束レートが導出され、条件数の低減（収束に有利）と真の解からの乖離の増加（一般化性能に悪影響）というトレードオフを明示的に捉えている。
• 実用的な自動的学習率減衰法が提案されており、クライントの学習率が局所的な進捗に基づいて適応的に低下する仕組みとなっており、手動によるハイパーパrameter調整への依存を減らしている。
• 複数のデータセット（CIFAR-100, FEMNIST, Shakespeare, Stack Overflow）を用いた実験的検証が行われ、凸的および非凸的タスクの両方で、調整済みと適応的学習率スケジュールの比較がなされている。
• クライントの学習率とサーバーの学習率の影響を分離するためのアブレーションスタディが実施され、タスクごとに最適な設定が特定された。

実験結果

リサーチクエスチョン

• RQ1 クライントの学習率の選択が、ローカルアップデート手法における補助損失の条件数と整合性にどのように影響するか？
• RQ2 理論的限界があるにもかかわらず、なぜ FedAvg などのローカルアップデート手法が実際の応用でミニバッチSGD よりも優れているのか？
• RQ3 二次的状況におけるローカルアップデート手法が最適化する補助損失関数を明示的に特徴づけられるか？
• RQ4 これらの手法における収束速度（条件数による）と解の品質（真の損失との整合性による）のトレードオフは何か？
• RQ5 自動的学習率減衰は、手動による調整の必要を減らしつつ、フェデレーテッドラーニングにおけるパフォーマンスを維持または向上させられるか？

主な発見

• 二次的状況におけるローカルアップデート手法が最適化する補助損失関数の条件数は、クライントの学習率によって制御されており、より小さな学習率は条件数を低減し、収束速度を向上させる。
• トレードオフが存在する：より小さなクライントの学習率により条件数を低減することで収束が早くなるが、同時に補助損失の最小値と真の損失の最小値との距離が増加する。
• FedAvg の明示的な収束レートが導出され、パフォーマンスが条件数と整合性のバランスに依存しており、適切な学習率の調整により最適な性能が達成可能であることが示された。
• 実験的結果から、通信制限のある環境では、クライントの学習率の調整が、他のハイパーパrameterの調整なしにほぼ最適なパフォーマンスを達成するのに十分であることが示された。
• 提案された自動的学習率減衰法は、手動による調整の必要を顕著に軽減し、RNN や CNN などの非凸モデルを含む多様なタスクにおいて収束性を向上させた。
• 最適なサーバーの学習率は、クライントの学習率に強く依存しており、最適な設定はタスクごとに異なることが判明した。これは、クライントとサーバーの学習率を分離することがパフォーマンス向上に不可欠であることを示唆している。