[論文レビュー] Advances and Open Challenges in Federated Foundation Models

Chao Ren, Han Yu+10 more|arXiv (Cornell University)|Apr 23, 2024

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この調査は、連邦型 Foundation Models（FedFM）の体系的な分類と分析を提供し、トレーニング、集約、信頼性、インセンティブ、今後の方向性を詳述します。FedFMの効率性、プライバシー、スケーラビリティの課題を強調します。

ABSTRACT

The integration of Foundation Models (FMs) with Federated Learning (FL) presents a transformative paradigm in Artificial Intelligence (AI). This integration offers enhanced capabilities, while addressing concerns of privacy, data decentralization and computational efficiency. This paper provides a comprehensive survey of the emerging field of Federated Foundation Models (FedFM), elucidating their synergistic relationship and exploring novel methodologies, challenges, and future directions that the FL research field needs to focus on in order to thrive in the age of FMs. A systematic multi-tiered taxonomy is proposed, categorizing existing FedFM approaches for model training, aggregation, trustworthiness, and incentivization. Key challenges, including how to enable FL to deal with high complexity of computational demands, privacy considerations, contribution evaluation, and communication efficiency, are thoroughly discussed. Moreover, this paper explores the intricate challenges of communication, scalability and security inherent in training/fine-tuning FMs via FL. It highlights the potential of quantum computing to revolutionize the processes of training, inference, optimization and security. This survey also introduces the implementation requirement of FedFM and some practical FedFM applications. It highlights lessons learned with a clear understanding of our findings for FedFM. Finally, this survey not only provides insights into the current state and challenges of FedFM, but also offers a blueprint for future research directions, emphasizing the need for developing trustworthy solutions. It serves as a foundational guide for researchers and practitioners interested in contributing to this interdisciplinary and rapidly advancing field.

研究の動機と目的

• 分散データを活用しつつプライバシーを保護するため、Foundation ModelsとFederated Learningの統合を促進する。
• トレーニング、集約、信頼性、インセンティブを網羅するFedFMの多層分類法を提案する。
• 将来の研究を導くため、計算・通信・プライバシー・貢献評価の主要な課題を特定する。
• FedFMのトレーニング・推論・セキュリティにおける量子計算の潜在的な役割を強調する。

提案手法

• トレーニング/集約、信頼性、インセンティブを横断するFedFMの体系的な多層分類法を提案する。
• 既存のFedFM技術をレビューし、分類法内に配置する。
• 連合設定と集中設定で使用されるFMサイズを列挙し、スケーリングのエビデンスを整理・比較する。
• 文献からの具体的な例を挙げて、効率性・セキュリティ・インセンティブ機構を議論する。
• 未解決の課題を検討し、量子計算の適用を含む方向性を示す。

実験結果

リサーチクエスチョン

• RQ1 Foundation Modelsの規模を考えると、FedFMのトレーニングと集約をいかに効率化できるか？
• RQ2 Byzantine耐性とプライバシーを含む信頼性をどのような戦略で担保するか？
• RQ3 FedFMへの有意義な参加を促すインセンティブ機構をどのように設計できるか？
• RQ4 独自の特性を踏まえ、FedFMに適したフレームワークと評価手法は何か？
• RQ5 量子計算を含む将来の方向性は、FedFM研究をどう推進できるか？

主な発見

• FedFMは大規模なFoundation Modelsに対応するため、集約・効率性・通信の再考を必要とする。
• 現在のFedFMの実践は、スケーラビリティと実証的な性能のために主にFedAvg/FedSGD型の集約を使用している。
• PEFT、Prompt Tuning、Instruction TuningはFedFMの計算効率の道筋として特定されている。
• モデルプルーニングと圧縮は、FedFMにおける通信オーバーヘッドを削減する主要な手法である。
• Byzantine耐性とプライバシー保護は、FedFMの信頼性の重要でありながら困難な要素である。
• 包括的なFedFM分類法が提案され、トレーニング/集約、信頼性、インセンティブ機構を中核的柱として概説している。