[論文レビュー] Learning Rate Adaptation for Federated and Differentially Private Learning

Antti Koskela, Antti Honkela|arXiv (Cornell University)|Sep 11, 2018

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

本稿では、差分プライバシーおよびフェデレーテッド確率的勾配降下法（SGD）における学習率の適応手法として、ADADPを提案する。この手法は、検証データセットの必要性を排除する。勾配フローの数値的外挿を活用して誤差を推定することで、ADADPは学習中において動的に学習率を調整し、最適にチューニングされたAdamおよびSGDと同等の性能を達成する。これは、手動でのチューニングを必要とせず、DPおよびフェデレーテッド設定下でも実現可能である。

ABSTRACT

We propose an algorithm for the adaptation of the learning rate for stochastic gradient descent (SGD) that avoids the need for validation set use. The idea for the adaptiveness comes from the technique of extrapolation: to get an estimate for the error against the gradient flow which underlies SGD, we compare the result obtained by one full step and two half-steps. The algorithm is applied in two separate frameworks: federated and differentially private learning. Using examples of deep neural networks we empirically show that the adaptive algorithm is competitive with manually tuned commonly used optimisation methods for differentially privately training. We also show that it works robustly in the case of federated learning unlike commonly used optimisation methods.

研究の動機と目的

• 差分プライバシー学習およびフェデレーテッド学習において、検証データセットがしばしば実用的でない、あるいはプライバシーを侵害するという学習率チューニングの課題に対処すること。
• 検証データが不要な、きめ細やかな適応的学習率手法の開発により、計算コストを低減し、プライバシー予算を保全すること。
• クライアント間でデータが非一様に分布する状況下で、固定の学習率では失敗するフェデレーテッド学習における訓練の安定性と性能の向上。
• DP-SGDにおける手動でチューニングされた最適化手法（Adam や SGD）の代替として、プライバシーを保護し、自動化された代替手段を提供すること。

提案手法

• 本手法は、勾配フローの常微分方程式（ODE）の数値的外挿を用い、1ステップのSGDの誤差を、全ステップと2つの半ステップの比較によって推定する。
• 全ステップと2つの半ステップの差異に基づき、学習率の更新を計算し、最適なステップサイズを近似する。
• アルゴリズムはDP-SGDおよびフェデレーテッド平均化に統合され、モーメント会計師手法を用いてプライバシー保証が得られる。
• 適応感度を制御するための許容誤差ハイパーパrameterが解析的に導出され、収束性と安定性を保証する。
• 学習中に学習率が適応的に変更され、初期値の選択に敏感でない。収束が最初のエポック内に達成され、最適な学習率に到達する。
• 適応後、さらに収束を改善するために、学習率を段階的に減衰させるスケジュールに切り替えることができる。

実験結果

リサーチクエスチョン

• RQ1 差分プライバシー学習において、検証データセットを回避する学習率適応手法を開発することは可能か？
• RQ2 勾配フローの外挿を用いることで、効率的かつプライバシーを保護する形で最適な学習率を推定する方法は何か？
• RQ3 提案手法は、ハイパーパrameterチューニングを必要とせず、DP-SGD設定下で手動でチューニングされたAdamおよびSGDを上回る性能を示すか？
• RQ4 クライアント間で極めて非i.i.d.なデータ分布が存在する状況下でも、この手法はフェデレーテッド学習を安定化できるか？
• RQ5 許容誤差ハイパーパrameterの影響は、適応性能および収束性にどのような影響を与えるか？

主な発見

• ADADPは、MNISTおよびCIFAR-10の実験において、差分プライバシー下で最適にチューニングされたAdamと同等の性能を達成し、特に2番目に良いAdam設定を大きく上回る。
• σ = 4.0、6.0、8.0 のDP-SGDにおいて、ADADPはσ = 2.0でチューニングされたSGDを一貫して上回り、ノイズスケールに対して強い耐性を示す。
• 初期学習率の選択に敏感ではなく、最初のエポック内に最適な学習率に収束する。これにより、チューニングの負担が軽減される。
• 歪んだデータ分布を持つフェデレーテッド学習では、ADADPは訓練を安定化させ、高いテスト精度を維持する。一方、Adam や SGD は著しく性能を低下させる。
• ADADPはモーメント会計師を用いてタイトな(ε,δ)-プライバシー境界を提供し、プライバシーの正式な保証を確保する。これは、性能の低下を伴わない。
• 本手法により、1回の実行でエンドツーエンドの訓練が可能となり、検証ベースのチューニングと比較して計算コストを削減し、プライバシー予算を保全できる。