[논문 리뷰] A Survey of Fairness-Aware Federated Learning

Yuxin Shi, Han Yu외 1명|arXiv (Cornell University)|2021. 11. 02.

Privacy-Preserving Technologies in Data참고 문헌 72인용 수 14

한 줄 요약

이 논문은 공정성 인지형 분산 학습(Fairness-Aware Federated Learning, FAFL)에 대한 종합적인 서베이를 제시하며, 클라이언트 선택, 최적화, 기여 평가, 인cent리브 분배를 포함한 분야에 대한 분류 체계를 제안한다. FAFL의 핵심 공정성 개념, 지표 및 향후 연구 방향을 규명하여 분산 학습 환경에서 클라이언트의 참여도와 시스템 지속 가능성 향상에 기여한다.

ABSTRACT

Recent advances in Federated Learning (FL) have brought large-scale machine learning opportunities for massive distributed clients with performance and data privacy guarantees. However, most current works only focus on the interest of the central controller in FL, and ignore the interests of clients. This may result in unfairness which discourages clients from actively participating in the learning process and damages the sustainability of the whole FL system. Therefore, the topic of ensuring fairness in an FL is attracting a great deal of research interest. In recent years, diverse Fairness-Aware FL (FAFL) approaches have been proposed in an effort to achieve fairness in FL from different viewpoints. However, there is no comprehensive survey which helps readers gain insight into this interdisciplinary field. This paper aims to provide such a survey. By examining the fundamental and simplifying assumptions, as well as the notions of fairness adopted by existing literature in this field, we propose a taxonomy of FAFL approaches covering major steps in FL, including client selection, optimization, contribution evaluation and incentive distribution. In addition, we discuss the main metrics for experimentally evaluating the performance of FAFL approaches, and suggest some promising future research directions.

연구 동기 및 목표

• 최근 등장한 다학제 분야인 공정성 인지형 분산 학습(FAFL)에 대한 종합적인 서베이가 부족한 점을 보완한다.
• 기존 FAFL 문헌에서 사용된 기본 가정과 공정성 개념을 규명하고 분석한다.
• 클라이언트 선택, 최적화, 기여 평가, 인센티브 분배와 같은 핵심 분산 학습 단계를 기반으로 FAFL 접근 방식에 대한 체계적인 분류 체계를 제안한다.
• FAFL 방법의 실험적 연구에서 사용된 성능 평가 지표를 검토하고 비교한다.
• 공정성과 지속 가능성 향상을 위한 유망한 향후 연구 방향을 제시한다.

제안 방법

• 분산 학습 파이프라인의 특정 단계에 중점을 두고 FAFL 접근 방식을 분류한다: 클라이언트 선택, 최적화, 기여 평가, 인센티브 분배.
• 기존 FAFL 연구에서 채택된 공정성 개념들—예: 데이터 공정성, 모델 공정성, 자원 공정성—을 분석하고 분류한다.
• 클라이언트 이질성과 통신 제약 조건 등 FAFL 방법의 기초 가정을 체계적으로 분석한다.
• 정확도 이질성, 수렴 안정성 등 공정성과 성능 평가에 사용되는 실험 지표를 검토하고 통합한다.
• 공정성 목표와 수렴 속도, 통신 효율성과 같은 시스템 수준의 목표 간의 상호작용을 분석한다.
• 기존 문헌의 격차와 추세를 기반으로 향후 FAFL 연구를 위한 체계적인 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 기존 공정성 인지형 분산 학습 접근 방식에서 지배적인 공정성 개념과 가정은 무엇인가?
• RQ2 FAFL 방법은 탈중앙화된 환경에서 클라이언트 간의 공정성을 확보하기 위해 어떻게 인센티브나 자원을 분배하거나 할당하는가?
• RQ3 FAFL 실험에서 공정성과 시스템 효율성을 평가하는 데 일반적으로 사용되는 성능 지표는 무엇인가?
• RQ4 클라이언트 선택, 최적화, 기여 평가 메커니즘은 분산 학습에서 공정성에 어떻게 기여하는가?
• RQ5 공정성 인지형 분산 학습을 발전시키는 데 있어 핵심적인 열린 과제와 유망한 연구 방향은 무엇인가?

주요 결과

• 클라이언트 선택, 최적화, 기여 평가, 인센티브 분배의 네 핵심 단계를 포함하는 FAFL 접근 방식에 대한 종합적인 분류 체계가 제안된다.
• 기존 FAFL 문헌 전반에서 데이터 공정성, 모델 공정성, 자원 공정성 등의 다양한 공정성 개념이 규명되고 분석된다.
• 이 서베이에서는 분산 학습에서 공정성이 종종 클라이언트의 참여를 공정한 보상과 연계하는 인센티브 메커니즘을 통해 다루어지는 것으로 드러났다.
• FAFL의 성능 평가에서는 정확도 이질성, 수렴 속도, 통신 효율성과 같은 지표가 일반적으로 사용된다.
• 논문은 표준화된 평가 프rotocol의 부재를 지적하며, 공정성 인지형 방법 간 비교를 위한 통합 벤치마크의 필요성을 제기한다.
• 향후 연구는 이질적이고 동적인 분산 학습 환경에 적합한 확장성 있고, 프라이버시를 보장하며, 적응형 공정성 메커니즘의 설계에 초점을 맞춰야 한다.