[論文レビュー] Robust Federated Learning Through Representation Matching and Adaptive Hyper-parameters

Hesham Mostafa|arXiv (Cornell University)|Dec 30, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用数 21

ひとこと要約

本稿では、非独立同分布（non-iid）データ下でのモデル発散を解消するため、表現一致（representation matching）とREINFORCEを用いたオンライン適応的ハイパーパramータチューニングを組み合わせた耐障害性のあるフェデレーテッドラーニングフレームワークを提案する。局所的表現をグローバルモデルと一致させ、各ラウンドごとにハイパーパramータを動的に最適化することで、高精度かつ安定性に優れた性能を達成。特に異種データ設定下で、高価なハイパーパramータ探索や顕著な計算オーバーヘッドを伴わずに、優れた性能を発揮する。

ABSTRACT

Federated learning is a distributed, privacy-aware learning scenario which trains a single model on data belonging to several clients. Each client trains a local model on its data and the local models are then aggregated by a central party. Current federated learning methods struggle in cases with heterogeneous client-side data distributions which can quickly lead to divergent local models and a collapse in performance. Careful hyper-parameter tuning is particularly important in these cases but traditional automated hyper-parameter tuning methods would require several training trials which is often impractical in a federated learning setting. We describe a two-pronged solution to the issues of robustness and hyper-parameter tuning in federated learning settings. We propose a novel representation matching scheme that reduces the divergence of local models by ensuring the feature representations in the global (aggregate) model can be derived from the locally learned representations. We also propose an online hyper-parameter tuning scheme which uses an online version of the REINFORCE algorithm to find a hyper-parameter distribution that maximizes the expected improvements in training loss. We show on several benchmarks that our two-part scheme of local representation matching and global adaptive hyper-parameters significantly improves performance and training robustness.

研究の動機と目的

• 異種クライアントデータ分布に起因するフェデレーテッドラーニングにおけるモデル発散の課題に対処すること。
• 通信制約のあるフェデレーテッド環境において、従来のハイパーパramータチューニング手法が現実的でない問題を克服すること。
• 各タスクごとの手動ハイパーパramータチューニングを必要とせずに、訓練のロバスト性と収束性を向上させること。
• リアルタイムで訓練損失の低減を最大化する、スケーラブルでオンラインなハイパーパramータ適応手法を開発すること。
• 局所モデルがグローバルモデルの表現空間と一致したまま保たれ、深刻な忘却や性能の崩壊を防ぐこと。

提案手法

• 訓練中にグローバルモデルの特徴表現を維持するよう促す表現一致損失を導入する。
• REINFORCEアルゴリズムを用いてハイパーパramータ選択をオンライン強化学習問題として定式化し、各ラウンドでの損失低減を最大化する。
• クライアントの訓練進捗からのリアルタイムフィードバックに基づき、各ラウンドごとに学習率と局所SGDステップ数を動的に調整する。
• 確率的方策勾配更新を用いて、ラウンドを経てハイパーパramータ分布を改善し、オンライン適応を実現する。
• 局所訓練目的関数に表現一致損失を統合することで、局所表現とグローバル表現の発散を低減する。
• 各ラウンドに2つのスカラ値（ハイパーパラメータの平均）を送信するだけで、通信オーバーヘッドを最小限に保つ。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.フェデレーテッドラーニング設定下で、表現一致は局所モデルとグローバルモデルの発散を効果的に低減できるか？
• RQ2 REINFORCEを用いたオンライン適応的ハイパーパラメータチューニングは、固定されたハイパーパラメータスケジュールに比べ、収束性および精度で優れているか？
• RQ3 表現一致と適応的ハイパーパラメータの組み合わせは、多様なデータ分布下で訓練のロバスト性にどのように影響を与えるか？
• RQ4 標準的なFedAvgと比較して、提案手法の計算および通信オーバーヘッドはどの程度か？
• RQ5 完全な再トレーニングや手動チューニングを伴わず、解釈可能で効果的な戦略を適応的ハイパーパラメータポリシーが学習できるか？

主な発見

• KWSタスクにおいて非i.i.d.データ（C=1.0）下でFA+RM+AHは94.4%の精度を達成したのに対し、標準的なFedAvgではたった28.4%にとどまり、相対的に66%の向上を示した。
• 非i.i.d.データ下のCIFAR10において、FA+RM+AHは85.2%の精度に達した。これは、FA（72.1%）およびFA+WD（76.3%）を顕著に上回った。
• 適応的ハイパーパラメータスキームは、固定スケジュールに比べて訓練損失の低減をより効果的に実現した。REINFORCEベースのポリシーは、非i.i.d.状況下で学習率を低下させる学習を遂げた。
• 適応的ハイパーパラメータチューニングの計算オーバーヘッドは、すべてのタスクで2%未満であり、平均して壁時計時間は5〜10%増加したにとどまった。
• 表現一致のみ（FA+RM）でも、KWSやCIFAR10のような困難なタスクにおいて、重み発散ペナルティ（FA+WD）をはるかに上回る性能を発揮した。
• 手動ハイパーパラメータチューニングを一切必要とせず、非i.i.d.環境下でも深刻な訓練失敗を防ぎ、実世界のシナリオにおいて強いロバスト性を示した。