[論文レビュー] On the Importance and Applicability of Pre-Training for Federated Learning

Hong-You Chen, Cheng-Hao Tu+3 more|arXiv (Cornell University)|Jun 23, 2022

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿は、フェデレーテッドラーニング（FL）における事前学習の影響を調査し、特にImageNetや合成データからの事前学習重みを用いたグローバルモデルの初期化が、非独立同分布（non-IID）データ条件下でもFLのパフォーマンスを顕著に向上させることを示している。事前学習により、FLと集中学習の間の精度差が縮小され、グローバルアグリゲーションが安定化し、実データがなくても有効であることが判明した。特に、フラクタル幾何に基づく新規な合成データ生成法であるフラクタルペア類似度（FPS）を用いることで、実データがなくても効果的な事前学習が可能となる。

ABSTRACT

Pre-training is prevalent in nowadays deep learning to improve the learned model's performance. However, in the literature on federated learning (FL), neural networks are mostly initialized with random weights. These attract our interest in conducting a systematic study to explore pre-training for FL. Across multiple visual recognition benchmarks, we found that pre-training can not only improve FL, but also close its accuracy gap to the counterpart centralized learning, especially in the challenging cases of non-IID clients' data. To make our findings applicable to situations where pre-trained models are not directly available, we explore pre-training with synthetic data or even with clients' data in a decentralized manner, and found that they can already improve FL notably. Interestingly, many of the techniques we explore are complementary to each other to further boost the performance, and we view this as a critical result toward scaling up deep FL for real-world applications. We conclude our paper with an attempt to understand the effect of pre-training on FL. We found that pre-training enables the learned global models under different clients' data conditions to converge to the same loss basin, and makes global aggregation in FL more stable. Nevertheless, pre-training seems to not alleviate local model drifting, a fundamental problem in FL under non-IID data.

研究の動機と目的

• 中心化されたディープラーニングで広く用いられている事前学習が、フェデレーテッドラーニング（FL）のパフォーマンスを向上させるかどうかを調査すること。
• 現実世界のFLで一般的な非独立同分布（non-IID）データ設定下での、事前学習の有効性を評価すること。
• 実データに依存しない代替手法、例えば合成データやクライアントのデータを用いた分散型事前学習の可能性を検討すること。
• 特に学習ダイナミクスとアグリゲーションの安定性の観点から、事前学習がFLに与える影響の背後メカニズムを理解すること。
• 事前学習と既存のFL技術（高度な局所的およびグローバル最適化手法など）の相乗効果を評価すること。

提案手法

• CIFAR-10/100、Tiny-ImageNet、iNaturalist、Cityscapesなど複数のビジョンベンチマークで、ランダム初期化と事前学習（例：ImageNet）によるモデル初期化を比較する、体系的な比較を実施。
• フラクタル幾何にインspiredされた新規な合成データ生成法であるフラクタルペア類似度（FPS）を提案し、実データなしでモデルを事前学習可能にする。
• 二段階のフェデレーテッドトレーニングパイプラインを実装：合成データ上で自己教師付き事前学習を行い、その後FLにおける教師ありファインチューニングを実施。
• 最適な凸結合を用いた局所モデルの重みの組み合わせを用いて、アグリゲーションの安定性を分析し、事前学習済みとランダム初期化の設定を比較。
• 局所モデルのドリフトと損失関数の収束性に関するアブレーションスタディを実施し、学習ダイナミクスへの事前学習の影響を理解。
• 最先端のフェデレーテッド自己教師付き学習（例：FedSSL）と事前学習重みを統合し、パフォーマンス向上の有効性を評価。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータ分布下で、特にクライアント間で分布が異なる条件下でも、事前学習がFedAvgのパフォーマンスを向上させるか？
• RQ2 事前学習は、フェデレーテッド学習と集中学習の間の精度差にどのように影響を与えるか？
• RQ3 合成データ生成（例：FPS）は、性能に悪影響を及げることなく、実データによる事前学習を代替できるか？
• RQ4 事前学習は、非IID FLにおける知られている課題である局所モデルのドリフトを緩和するか？
• RQ5 事前学習は、フェデレーテッドラーニングにおけるグローバルモデルアグリゲーションの安定性にどのように影響を与えるか？

主な発見

• 事前学習は、評価されたすべてのベンチマークでFedAvgの精度を一貫して向上させ、特に困難な非IID設定下で相対的な向上幅が大きい。
• 事前学習により、フェデレーテッド学習と集中学習の間の精度差が顕著に縮小され、特にDirichlet非IID設定下のCIFAR-10およびTiny-ImageNetで最大の改善が観察された。
• 提案されたフラクタルペア類似度（FPS）法により、実データがなくても効果的な合成データが生成可能であり、これによりFedAvgのパフォーマンスが向上した。
• 事前学習は局所モデルのドリフトを緩和しないが、グローバルアグリゲーションの安定性を高め、最適な凸結合による利益が小さく、損失の分散も低いことから裏付けられた。
• 事前学習により、異なるクライアントのデータ分布下で学習されたグローバルモデルが、同じ損失の谷（loss basin）に収束するようになり、一般化性能と安定性が向上した。
• 事前学習は高度なFL手法と相乗効果を示す：それらの手法のパフォーマンスを向上させるが、FedAvgに対する相対的な性能向上は減少し、事前学習重みを用いた場合でもFedAvgが依然として強い性能を示すことが示唆された。