[論文レビュー] Fine-tuning is Fine in Federated Learning

Gary Cheng, Karan N. Chadha+1 more|arXiv (Cornell University)|Aug 16, 2021

Privacy-Preserving Technologies in Data参考文献 12被引用数 13

ひとこと要約

本稿では、複雑なメタラーニングおよびプロキシ正則化付きフェデレーテッドラーニング手法の代替として、シンプルで効率的な手法であるファインチューニング付きフェデレーテッドアベレージング（FTFA）およびそのリッジ正則化版RTFAを提案する。高次元における漸近的枠組みにおいて、FTFAとRTFAは最先端の手法と同等の性能を達成するとともに、計算効率と概念的単純性に優れ、EMNIST、CIFAR-100、Shakespeare、Stack Overflowのフェデレーテッドデータセットにおいて検証された。

ABSTRACT

We study the performance of federated learning algorithms and their variants in an asymptotic framework. Our starting point is the formulation of federated learning as a multi-criterion objective, where the goal is to minimize each client's loss using information from all of the clients. We propose a linear regression model, where, for a given client, we theoretically compare the performance of various algorithms in the high-dimensional asymptotic limit. This asymptotic multi-criterion approach naturally models the high-dimensional, many-device nature of federated learning and suggests that personalization is central to federated learning. Our theory suggests that Fine-tuned Federated Averaging (FTFA), i.e., Federated Averaging followed by local training, and the ridge regularized variant Ridge-tuned Federated Averaging (RTFA) are competitive with more sophisticated meta-learning and proximal-regularized approaches. In addition to being conceptually simpler, FTFA and RTFA are computationally more efficient than its competitors. We corroborate our theoretical claims with extensive experiments on federated versions of the EMNIST, CIFAR-100, Shakespeare, and Stack Overflow datasets.

研究の動機と目的

• クライアント固有のパーソナライゼーションが不可欠となる高次元的で多数のデバイスが関与する漸近的状況におけるフェデレーテッドラーニングの分析を目的とする。
• 全クライアントの情報を用いて各クライアントの損失を最小化する多基準最適化フレームワーク下でのフェデレーテッドラーニングアルゴリズムの性能評価を目的とする。
• フェデレーテッドアベレージングの後に単純なファインチューニングを適用することで、より複雑なメタラーニングおよびプロキシ正則化付き手法と同等またはそれ以上の性能が得られるかどうかを評価することを目的とする。
• FTFAおよびRTFAがパーソナライズドフェデレーテッドラーニングにおいて有効であることを理論的および実証的に裏付ける根拠を確立することを目的とする。

提案手法

• 全クライアントの情報を用いて各クライアントの損失を最小化する多基準最適化問題としてフェデレーテッドラーニングを定式化する。
• 高次元的漸近限界における線形回帰モデルを構築し、クライアント間でのアルゴリズム性能を理論的に比較する。
• 標準的なフェデレーテッドアベレージングの後にローカルファインチューニングを適用することで、クライアント固有の性能を向上させる、ファインチューニング付きフェデレーテッドアベレージング（FTFA）を提案する。
• リッジペナルティを追加することで一般化性能を向上させるFTFAの正則化版として、リッジチューニング付きフェデレーテッドアベレージング（RTFA）を導入する。
• 理論的分析を通じて、FTFAおよびRTFAが漸近的状況下でメタラーニングおよびプロキシ正則化付き手法と同等の性能を発揮することを示す。
• EMNIST、CIFAR-100、Shakespeare、Stack Overflowのフェデレーテッド版データセットを用いて、実証的に結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドアベレージングの後にファインチューニングを適用することで、フェデレーテッドラーニングにおいて高度なメタラーニングおよびプロキシ正則化付き手法と同等の性能が得られるか？
• RQ2 FTFAおよびRTFAの性能は、高次元的でパーソナライズドなフェデレーテッドラーニング環境下で最先端の手法と比較してどうなるか？
• RQ3 漸近的で多数クライアント、高次元的状況下におけるFTFAおよびRTFAの有効性の理論的根拠は何か？
• RQ4 FTFAのように単純で計算効率の高い手法が、パーソナライズドフェデレーテッドラーニングにおいてより複雑なアルゴリズムを上回ることができるか？

主な発見

• FTFAおよびRTFAは、高次元的漸近的状況下で、より洗練されたメタラーニングおよびプロキシ正則化付き手法と同等の性能を達成する。
• 理論的分析から、高次元的で多数のデバイスが関与する状況下では、パーソナライゼーションがフェデレーテッドラーニングにおいて本質的であることが示された。
• FTFAおよびRTFAは、より単純なトレーニング手順のおかげで、メタラーニングおよびプロキシ正則化付きベースラインと比較して計算的により効率的である。
• EMNIST、CIFAR-100、Shakespeare、Stack Overflowにおける実証的結果から、FTFAおよびRTFAが多様なフェデレーテッドラーニングベンチマークで強固な性能を維持することが確認された。
• リッジ正則化付きバージョンであるRTFAは、特にクライアント1人あたりのデータが限られる高次元的状況下で、一般化性能と安定性を向上させる。
• 理論的分析と実証的検証の両方の組み合わせにより、FTFAおよびRTFAが実世界のフェデレーテッドラーニングにおいて実用的で効率的かつ効果的な代替手法として採用されることが裏付けられた。