[논문 리뷰] Advances and Open Challenges in Federated Foundation Models

Chao Ren, Han Yu외 10명|arXiv (Cornell University)|2024. 04. 23.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 조사/검토는 Federated Foundation Models (FedFM)에 대한 체계적인 분류체계와 분석을 제공하며, training, aggregation, trustworthiness, incentivization 및 future directions를 자세히 다룬다. FedFM에서의 효율성, 프라이버시, 확장성 문제를 강조한다.

ABSTRACT

The integration of Foundation Models (FMs) with Federated Learning (FL) presents a transformative paradigm in Artificial Intelligence (AI). This integration offers enhanced capabilities, while addressing concerns of privacy, data decentralization and computational efficiency. This paper provides a comprehensive survey of the emerging field of Federated Foundation Models (FedFM), elucidating their synergistic relationship and exploring novel methodologies, challenges, and future directions that the FL research field needs to focus on in order to thrive in the age of FMs. A systematic multi-tiered taxonomy is proposed, categorizing existing FedFM approaches for model training, aggregation, trustworthiness, and incentivization. Key challenges, including how to enable FL to deal with high complexity of computational demands, privacy considerations, contribution evaluation, and communication efficiency, are thoroughly discussed. Moreover, this paper explores the intricate challenges of communication, scalability and security inherent in training/fine-tuning FMs via FL. It highlights the potential of quantum computing to revolutionize the processes of training, inference, optimization and security. This survey also introduces the implementation requirement of FedFM and some practical FedFM applications. It highlights lessons learned with a clear understanding of our findings for FedFM. Finally, this survey not only provides insights into the current state and challenges of FedFM, but also offers a blueprint for future research directions, emphasizing the need for developing trustworthy solutions. It serves as a foundational guide for researchers and practitioners interested in contributing to this interdisciplinary and rapidly advancing field.

연구 동기 및 목표

• Foundation Models의 분산 데이터 활용을 위해 프라이버시를 보존하면서 Federated Learning과의 통합을 촉진한다.
• FedFM을 위한 training, aggregation, trustworthiness, incentives를 포괄하는 다계층 분류체계를 제안한다.
• 계산량, 통신, 프라이버시, 기여 평가의 주요 도전과제를 식별하여 향후 연구를 안내한다.
• FedFMtraining, inference, and security에서 양자 컴퓨팅의 잠재적 역할을 강조한다.

제안 방법

• training/aggregation, trustworthiness, incentives에 걸친 FedFM에 대한 체계적 다계층 분류체계를 제안한다.
• 기존의 FedFM 기술을 검토하고 분류체계 내에서 이를 분류한다.
• 연합 설정과 중앙 설정에서 사용된 FM 크기를 열거하여 규모 확장에 대한 증거를 비교한다.
• 문헌의 구체적 예제를 들어 효율성, 보안, 인센티브 메커니즘을 논의한다.
• 열림 도전과제를 검토하고 양자컴퓨팅 응용을 포함한 방향을 제시한다.

실험 결과

연구 질문

• RQ1 Foundation Models의 규모를 고려할 때 FedFM training과 aggregation을 어떻게 효율화할 수 있는가?
• RQ2 FedFM에서 Byzantine robusteness 및 privacy를 포함한 신뢰성을 보장하는 전략은 무엇인가?
• RQ3 FedFM에서 의미 있는 참여를 유도하기 위한 인센티브 메커니즘은 어떻게 설계되어야 하는가?
• RQ4 FedFM의 고유한 특성을 고려할 때 어떤 프레임워크와 평가 방법이 적합한가?
• RQ5 양자컴퓨팅을 포함한 향후 방향이 FedFM 연구를 어떻게 발전시킬 수 있는가?

주요 결과

• FedFM은 대규모 Foundation Models를 수용하기 위해 aggregation, 효율성, 통신 재고가 재고되어야 한다.
• 현재의 FedFM 실천은 규모 확장성 및 경험적 성능으로 인해 주로 FedAvg/FedSGD와 유사한 aggregation을 사용한다.
• PEFT, Prompt Tuning, 및 Instruction Tuning은 FedFM에서 계산 효율성을 향상시키는 경로로 확인된다.
• 모델 pruning 및 압축은 FedFM의 통신 오버헤드를 줄이는 핵심 접근 방식이다.
• Byzantine robusteness와 privacy 보존은 FedFM 신뢰성의 결정적이지만 도전적인 구성요소이다.
• 포괄적인 FedFM 분류체계가 제안되며, training/aggregation, trustworthiness, incentives를 핵심 기둥으로 제시한다.