[論文レビュー] Preservation of the Global Knowledge by Not-True Distillation in Federated Learning

Gihun Lee, Minchan Jeong+3 more|arXiv (Cornell University)|Jun 6, 2021

Privacy-Preserving Technologies in Data被引用数 44

ひとこと要約

本論文はデータの非 IID 性に起因する忘却をフェデレーテッドラーニングのボトルネックとして特定し、ローカルデータ上での not-true distillation によってグローバル知識を保持する FedNTD を提案し、追加の通信やプライバシー損失なしに最先端の結果を達成します。

ABSTRACT

In federated learning, a strong global model is collaboratively learned by aggregating clients' locally trained models. Although this precludes the need to access clients' data directly, the global model's convergence often suffers from data heterogeneity. This study starts from an analogy to continual learning and suggests that forgetting could be the bottleneck of federated learning. We observe that the global model forgets the knowledge from previous rounds, and the local training induces forgetting the knowledge outside of the local distribution. Based on our findings, we hypothesize that tackling down forgetting will relieve the data heterogeneity problem. To this end, we propose a novel and effective algorithm, Federated Not-True Distillation (FedNTD), which preserves the global perspective on locally available data only for the not-true classes. In the experiments, FedNTD shows state-of-the-art performance on various setups without compromising data privacy or incurring additional communication costs.

研究の動機と目的

• 非 IID データとデータヘテロ性の関係から、忘却がフェデレーテッドラーニングで起こるかを調査する。
• フェデレーション学習中のローカル知識とグローバル知識のシフトを特徴づける。
• プライバシーや通信効率を損なうことなく、ローカル更新中にグローバル知識を保持する方法を開発する。
• 提案手法の有効性を理論的・実証的に裏付ける。

提案手法

• ラウンド間のグローバルモデルの予測一貫性を分析し、忘却を非 IID データと関連づける。
• 不正解蒸留損失(not-true distillation loss)を追加して、内側ローカル分布で学習しつつ外側ローカル分布で知識を保持する FedNTD を導入する。
• L_NTD を、ローカルとグローバルモデルの not-true クラス予測の間の温度 τ を用いた KL 発散として定義する（not-true クラスのみ）。
• ローカル学習目的関数に、標準のクロスエントロピーと L_NTD を β で調整して結合する。
• FedNTD のトレーニング、アグリゲーション、更新を詳述する Algorithm 1 を提供する。
• ローカル知識保持と勾配整列および重み安定性との理論的命題を提供する。

実験結果

リサーチクエスチョン

• RQ1 クライアント間のデータ異質性により、フェデレーテッドラーニングはグローバル知識の忘却を示すか。
• RQ2 局所学習中にグローバルモデルからの not-true クラス知識を保持することは、この忘却を緩和できるか。
• RQ3 FedNTD はローカルとグローバルモデル間の勾配多様性、重みの整合性、重みの発散にどのように影響するか。
• RQ4 非 IID 条件下で性能を改善しつつ、FedNTD はデータプライバシーを維持し、追加通信コストを回避するか。
• RQ5 一般的なベンチマークと分割戦略において、FedNTD はどのような実証的利得を達成するか。

主な発見

• 非 IID データ下でグローバルモデルに忘却が生じ、クラス別の精度がラウンド間で一貫せず、ヘテロゲネシティが大きいほど忘却が大きい。
• FedNTD による not-true クラス知識の保持が忘却を抑制し、MNIST、CIFAR-10、CIFAR-100、CINIC-10 の複数の NIID 設定で最先端の精度を達成。
• FedNTD はグローバルとローカルモデル間の重み整合性を改善し、重み発散を減少させ、より安定したフェデレーテッド最適化に寄与。
• 本手法は追加の通信やデータ共有を必要とせず、プライバシーを保持します。
• FedNTD はさまざまなデータヘテロ性シナリオにおいて、複数のベースライン（FedAvg, FedCurv, FedProx, FedNova, SCAFFOLD, MOON）を一貫して上回る。