[논문 리뷰] Heterogeneous Federated Learning: State-of-the-art and Research Challenges

Mang Ye, Xiuwen Fang외 3명|arXiv (Cornell University)|2023. 07. 20.

Privacy-Preserving Technologies in Data인용 수 18

한 줄 요약

이 논문은 이종 연합 학습 (HFL)에 대한 체계적 조사를 제공하고, 새로운 분류 체계를 제안하며, 데이터-, 모델-, 서버 수준 접근 방식에서 최첨단 방법들을 분석하고 주요 과제 및 향후 방향을 개략적으로 제시한다.

ABSTRACT

Federated learning (FL) has drawn increasing attention owing to its potential use in large-scale industrial applications. Existing federated learning works mainly focus on model homogeneous settings. However, practical federated learning typically faces the heterogeneity of data distributions, model architectures, network environments, and hardware devices among participant clients. Heterogeneous Federated Learning (HFL) is much more challenging, and corresponding solutions are diverse and complex. Therefore, a systematic survey on this topic about the research challenges and state-of-the-art is essential. In this survey, we firstly summarize the various research challenges in HFL from five aspects: statistical heterogeneity, model heterogeneity, communication heterogeneity, device heterogeneity, and additional challenges. In addition, recent advances in HFL are reviewed and a new taxonomy of existing HFL methods is proposed with an in-depth analysis of their pros and cons. We classify existing methods from three different levels according to the HFL procedure: data-level, model-level, and server-level. Finally, several critical and promising future research directions in HFL are discussed, which may facilitate further developments in this field. A periodically updated collection on HFL is available at https://github.com/marswhu/HFL_Survey.

연구 동기 및 목표

• 데이터, 모델, 통신, 및 장치 차원 전반에서 이종 연합 학습의 주요 연구 도전 과제를 식별하고 분류한다.
• 데이터 수준, 모델 수준, 그리고 서버 수준에서 HFL 방법을 구성하기 위한 새로운 분류체계를 제안한다.
• 최근의 첨단 HFL 방법을 검토하고 이종 환경에서의 강점과 한계를 분석한다.
• 개인정보 보호, 효율성, 견고성 고려사항을 논의하고 향후 연구 방향을 제시한다.

제안 방법

• 통계적 이질성, 모델 이질성, 통신 이질성, 장치 이질성, 그리고 추가 도전 과제에 대한 다섯 가지 측면 프레임워크를 도입한다.
• 데이터 수준, 모델 수준, 서버 수준 방법으로 기존 HFL 접근법을 분류하는 새로운 분류체계를 제시한다.
• 제안된 분류체계 내에서 대표적 HFL 기법의 장단점을 분석한다.
• 이전 설문조사와 비교하여 고유한 기여와 간극을 강조한다.
• HFL의 연구 우선순위와 열린 문제에 대한 지침을 제공한다.

실험 결과

연구 질문

• RQ1 연합 학습에서의 핵심 이질성 차원은 무엇이며 이것이 학습 성능에 어떤 영향을 미치는가?
• RQ2 기존의 HFL 방법을 일관된 분류체계로 구성할 수 있으며 데이터-, 모델-, 서버 수준 접근 방식 간의 트레이드오프는 무엇인가?
• RQ3 이질성 하에서의 개인정보 보호, 효율성, 견고성의 주요 도전과제는 무엇이며 어떻게 해결될 수 있는가?
• RQ4 향후 HFL 연구 및 벤치마킹에서 가장 전망이 밝은 방향은 무엇인가?

주요 결과

• HFL은 다섯 가지 주요 이질성 도전에 직면해 있다: 통계적, 모델, 통신, 장치, 및 지식 이전과 개인정보 누출과 같은 추가 문제들.
• 새로운 분류체계는 HFL 방법을 데이터 수준, 모델 수준, 서버 수준 접근으로 나누어 각 접근의 장점과 한계를 이해하는 데 도움을 준다.
• 설문은 HFL에 대한 벤치마크, 데이터 세트 및 표준화된 측정 지표가 부족하다고 지적하며 체계적 평가의 필요성을 강조한다.
• 향후 방향으로 자원 소비 감소, 효율성 향상, 공정성 강화, 이종 환경을 위한 더 엄격한 개인정보 보호 제약 등이 논의된다.
• 이전 설문과 비교할 때, 본 연구는 이질성에 초점을 맞춘 세밀하고 포괄적인 분류체계를 제시하고 일반적인 FL 도전과제에서 벗어나 이질성에 집중한다.
• 본 논문은 HFL의 발전을 추적하기 위한 주기적으로 업데이트되는 온라인 자료를 제공한다.