[논문 리뷰] Bayesian Federated Learning: A Survey

Longbing Cao, Hui Chen외 4명|arXiv (Cornell University)|2023. 04. 26.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 종합 검토는 데이터 부족, 모델 불확실성, 시스템 이질성과 같은 과제를 해결하기 위해 베이지안 학습과 분산 학습을 통합한 강력한 프레임워크인 베이지안 분산 학습(Bayesian Federated Learning, BFL)을 소개한다. 모델 파라미터에 대한 분포를 모델링하고 사전 지식을 활용함으로써 BFL은 개인정보 보호가 중요한 실생활 응용 분야에서 더 신뢰할 수 있고 설명 가능하며 동적일 수 있는 예측을 가능하게 한다.

ABSTRACT

Federated learning (FL) demonstrates its advantages in integrating distributed infrastructure, communication, computing and learning in a privacy-preserving manner. However, the robustness and capabilities of existing FL methods are challenged by limited and dynamic data and conditions, complexities including heterogeneities and uncertainties, and analytical explainability. Bayesian federated learning (BFL) has emerged as a promising approach to address these issues. This survey presents a critical overview of BFL, including its basic concepts, its relations to Bayesian learning in the context of FL, and a taxonomy of BFL from both Bayesian and federated perspectives. We categorize and discuss client- and server-side and FL-based BFL methods and their pros and cons. The limitations of the existing BFL methods and the future directions of BFL research further address the intricate requirements of real-life FL applications.

연구 동기 및 목표

• 제한된 자료, 동적이고 비독립동일분포(non-IID)인 자료를 고려할 때 기존 분산 학습의 한계를 해결하기 위해.
• 베이지안 학습의 강점인 사전 지식, 불확실성 측정 및 강건성 등을 분산 학습 프레임워크에 통합하기 위해.
• 베이지안 학습과 분산 학습의 시점에서 모두 고려한 BFL 방법에 대한 체계적인 분류 체계를 제공하기 위해.
• 실제 적용 가능한 실생활 BFL 응용을 위해 핵심 기술적 격차와 향후 연구 방향을 규명하기 위해.
• 불확실성 인식 학습을 통해 설명 가능하고 공정하며 안전한 탈중앙화된 인공지능 시스템의 개발을 지원하기 위해.

제안 방법

• 모델 파라미터에 대한 분포를 모델링하고 불확실성을 측정하기 위해 베이지안 학습과 분산 학습을 통합한 통합 프레임워크를 제안한다.
• BFL 방법을 클라이언트 측 및 서버 측 접근 방식으로 분류하고, 통신 효율성 및 이질성과 같은 FL 전용 과제에 따라 추가로 분류한다.
• 베이지안 학습 기법(예: 변분 추론, 몬테카를로 드롭아웃)과 분산 학습 고려 사항(예: 비독립동일분포 데이터, 동적 클라이언트)을 조합한 이중 분류 체계를 도입한다.
• 베이지안 원칙(사전 지정, 사후 추론)과 분산 시스템 설계(집계, 통신, 프라이버시)의 관점에서 BFL 방법을 분석한다.
• 전이 학습, 강화 학습, 엣지 컴퓨팅 등의 다른 패러다임과 결합한 하이브리드 BFL 아키텍처를 검토한다.
• 기술적 지표 외에도 도메인 기반, 윤리적, 실천 가능한 성능 지표(예: 공정성, 설명 가능성, 검증 가능성)를 포함한 평가 기준을 제안한다.

실험 결과

연구 질문

• RQ1 데이터 부족 및 비독립동일분포 조건에서 베이지안 학습은 어떻게 분산 학습의 강건성과 불확실성 측정 능력을 향상시킬 수 있는가?
• RQ2 확장성, 통신, 정확도 측면에서 클라이언트 측과 서버 측 BFL 방법 간의 주요 차이점과 상호 보완적 특성은 무엇인가?
• RQ3 BFL은 어떻게 복잡한 데이터 특성(예: 개념 이동, 레이블 부족, 혼합 모odal)을 효과적으로 다룰 수 있는가?
• RQ4 현행 BFL 방법에서 실생활, 프로덕션 수준의 탈중앙화된 인공지능 시스템에 구현을 방해하는 주요 기술적 격차는 무엇인가?
• RQ5 BFL은 어떻게 프라이버시와 효율성을 유지하면서도 하이브리드, 다중 소스, 다중 모odal 학습 시나리오를 지원할 수 있는가?

주요 결과

• BFL은 사전 지식과 사후 추론을 활용함으로써 자료가 적고 클라이언트가 동적으로 변화하는 환경에서 모델의 강건성과 불확실성 캘리브레이션을 크게 향상시킨다.
• 클라이언트 측 BFL 방법은 더 나은 개인화와 프라이버시 보장을 제공하지만, 통신 효율성과 수렴 안정성 측면에서 도전 과제를 안고 있다.
• 서버 측 BFL은 중심 집중식 불확실성 모델링과 글로벌 일관성을 가능하게 하지만, 주로 영향력 있는 클라이언트에 과적합되는 위험과 세밀한 개인화의 부재를 애초에 수반한다.
• 베이지안 방법과 전이 학습, 엣지 추론, 압축된 통신 등을 조합한 하이브리드 BFL 아키텍처는 복잡한 실생활 구현에 확장 가능한 잠재력을 보이고 있다.
• 현행 BFL 방법은 여전히 이방향, 탈중앙화되거나 자원 제약이 있는 환경에서 계산 및 통신 오버헤드 문제를 겪고 있다.
• 실천 가능한 BFL을 위해서는 기술적 개선 외에도 윤리적, 설명 가능하고 검증 가능한 설계 원칙의 통합이 필요로 하며, 이는 실생활 구현 요구사항을 충족하기 위함이다.