[논문 리뷰] A Systematic Literature Review on Federated Learning: From A Model Quality Perspective

Yi Liu, Li Zhang외 2명|arXiv (Cornell University)|2020. 12. 01.

Privacy-Preserving Technologies in Data참고 문헌 135인용 수 23

한 줄 요약

이 체계적 문헌 고찰은 2016년에서 2022년 사이에 발표된 147편의 최신 연구를 분석하여 연합 학습(FL) 모델 품질을 향상시키는 핵심 요인을 규명한다. 주요 초점은 모델 설계, 프라이버시 보호, 인cent리브 메커니즘에 맞춰져 있으며, FL은 비-FL 모델과 유사한 성능(정확도 차이 1–5% 이내)을 달성하면서도 강력한 프라이버시를 확보함을 확인하였다. 또한 산업 적용을 위한 실용적인 FL 응용 프레임워크를 제안한다.

ABSTRACT

As an emerging technique, Federated Learning (FL) can jointly train a global model with the data remaining locally, which effectively solves the problem of data privacy protection through the encryption mechanism. The clients train their local model, and the server aggregates models until convergence. In this process, the server uses an incentive mechanism to encourage clients to contribute high-quality and large-volume data to improve the global model. Although some works have applied FL to the Internet of Things (IoT), medicine, manufacturing, etc., the application of FL is still in its infancy, and many related issues need to be solved. Improving the quality of FL models is one of the current research hotspots and challenging tasks. This paper systematically reviews and objectively analyzes the approaches to improving the quality of FL models. We are also interested in the research and application trends of FL and the effect comparison between FL and non-FL because the practitioners usually worry that achieving privacy protection needs compromising learning quality. We use a systematic review method to analyze 147 latest articles related to FL. This review provides useful information and insights to both academia and practitioners from the industry. We investigate research questions about academic research and industrial application trends of FL, essential factors affecting the quality of FL models, and compare FL and non-FL algorithms in terms of learning quality. Based on our review's conclusion, we give some suggestions for improving the FL model quality. Finally, we propose an FL application framework for practitioners.

연구 동기 및 목표

• 체계적 문헌 고찰을 통해 연합 학습(FL) 모델 품질에 영향을 미치는 주요 요인을 규명하고 분석하는 것.
• IoT, 헬스케어, 스마트 시티와 같은 분야에서 FL의 연구 및 응용 동향을 조사하는 것.
• 비-FL 접근 방식과의 학습 품질 비교를 통해 실무자들이 우려하는 프라이버시-정확도 트레이드오프 문제를 다루는 것.
• 프라이버시 보호 메커니즘과 인센티브 전략이 FL 모델 성능 향상에 미치는 역할을 평가하는 것.
• 147편의 검토된 연구에서 도출된 실증적 발견을 바탕으로 실무자들을 위한 실용적인 FL 응용 프레임워크를 제안하는 것.

제안 방법

• 2016년에서 2022년 사이에 발표된 147편의 최신 FL 관련 연구를 대상으로 체계적 문헌 고찰을 수행하였다.
• 모델 설계(수평 대 비수직 FL), 학습 방법, 프라이버시 메커니즘, 인센티브 전략 기반으로 연구를 분류하였다.
• 클라이언트 측 및 서버 측 알고리즘(예: FedProx, SMA, FOCUS, 클라이언트 클러스터링 기법 포함)을 분석하였다.
• 암호화 기반 프라이버시 보호 메커니즘과 다양한 FL 환경(예: 수평, 비수직 FL)에서의 적용 가능성을 평가하였다.
• 데이터 품질, 계산 비용, 통신 비용, 보상 구조(금전적 대비 비금전적 보상)에 초점을 맞춘 인센티브 메커니즘을 평가하였다.
• 보고된 정확도, 정밀도, 수렴 지표를 사용하여 FL 모델과 비-FL 모델 간의 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 분야에서 연합 학습(FL)의 주요 연구 및 응용 동향은 무엇인가?
• RQ2 수평 및 비수직 FL에서 특히 중요한 모델 설계 및 학습 전략은 무엇이며, FL 모델 품질 향상에 기여하는가?
• RQ3 프라이버시 보호 메커니즘이 FL 시스템의 보안성과 성능에 어떤 영향을 미치는가?
• RQ4 어떤 인센티브 메커니즘이 높은 품질의 데이터 기여를 유도하고 글로벌 모델 성능 향상에 효과적인가?
• RQ5 FL은 비-FL 학습 대비 학습 품질을 어느 정도 손상시키며, 이러한 격차에 영향을 미치는 요인은 무엇인가?

주요 결과

• 92%의 경우에서 FL은 비-FL 모델과 유사한 학습 품질을 달성하며, 정확도 차이가 1–5% 이내로 일반적으로 실무에서 수용 가능한 수준이다.
• 클라이언트 측 알고리즘인 연합 사용자 표현 학습 및 다중 시각 FL은 이질적 데이터 환경에서 특히 모델 품질 향상에 기여한다.
• FedProx, SMA, FOCUS와 같은 서버 측 집계 방법은 비-IID 데이터 조건 하에서 수렴성과 정확도 향상에 뛰어난 효과를 보였다.
• 클라이언트 클러스터링 기반 학습 알고리즘은 특히 데이터 이질성이 높은 FL 환경에서 다른 접근 방식보다 글로벌 모델 품질 향상에 뛰어나게 기여한다.
• 다수의 암호화 메커니즘은 이론적으로 타당하지만, 수직 FL, 연합 전이 학습, 강화 학습 환경에서의 프라이버시 보호 품질에 대한 연구는 거의 이루어지지 않아 연구 격차가 존재한다.
• 대부분의 인센티브 메커니즘은 금전적 보상에만 의존한다. 금전적과 비금전적 보상의 조합은 아직 탐색되지 않은 분야이지만, 향후 연구에 매우 유망한 방향이다.