[논문 리뷰] Towards Fairness-Aware Federated Learning

Yuxin Shi, Han Yu외 1명|arXiv (Cornell University)|2021. 11. 02.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 정의된 연합 학습(Fairness-Aware Federated Learning, FAFL)에 대한 첫 번째 종합적 서베이를 제안하며, 클라이언트 선택, 최적화, 기여 평가, 인cent라이브 분배를 포함한 FAFL 접근 방식에 대한 분류 체계를 제시한다. 연합 학습에서의 정의 문제를 규명하고 핵심 지표를 검토하며, 지속 가능하고 공정한 연합 시스템 협업을 보장하기 위한 향후 연구 방향을 제시한다.

ABSTRACT

Recent advances in Federated Learning (FL) have brought large-scale collaborative machine learning opportunities for massively distributed clients with performance and data privacy guarantees. However, most current works focus on the interest of the central controller in FL,and overlook the interests of the FL clients. This may result in unfair treatment of clients that discourages them from actively participating in the learning process and damages the sustainability of the FL ecosystem. Therefore, the topic of ensuring fairness in FL is attracting a great deal of research interest. In recent years, diverse Fairness-Aware FL (FAFL) approaches have been proposed in an effort to achieve fairness in FL from different perspectives. However, there is no comprehensive survey that helps readers gain insight into this interdisciplinary field. This paper aims to provide such a survey. By examining the fundamental and simplifying assumptions, as well as the notions of fairness adopted by existing literature in this field, we propose a taxonomy of FAFL approaches covering major steps in FL, including client selection, optimization, contribution evaluation and incentive distribution. In addition, we discuss the main metrics for experimentally evaluating the performance of FAFL approaches, and suggest promising future research directions towards FAFL.

연구 동기 및 목표

• 정의 인지 연합 학습(FAFL)에 대한 종합적 서베이가 부족한 문제를 해결하기 위해, 최근 등장한 다학제 분야에 대응한다.
• 클라이언트 선택, 모델 최적화, 기여 평가, 인센티브 분배의 핵심 연합 학습 단계에서 발생하는 정의 문제를 규명하고 분석한다.
• 주요 연합 학습 파이프라인 단계에 기반한 FAFL 접근 방식의 체계적 분류 체계를 제안한다.
• FAFL 연구에서 기존의 정의 지표와 실험 기준을 검토하고 평가한다.
• 연합 학습 생태계에서 정의성, 강건성, 지속 가능성 향상을 위한 유망한 향후 연구 방향을 제시한다.

제안 방법

• 클라이언트 선택, 최적화, 기여 평가, 인센티브 분배를 포함한 핵심 연합 학습 파이프라인 단계에 따라 정리된 FAFL 접근 방식의 새로운 분류 체계를 개발한다.
• 기존 FAFL 문헌에서 사용하는 기본 가정과 정의 개념(예: 이윤 중심, 평등 중심, 절차적 정의)을 분석한다.
• 수렴 속도나 모델 정확도와 같은 서버 중심 목표보다 정의를 우선시하는 클라이언트 선택 방법을 조사한다.
• 개인 정보 폭 드러남 없이 기여도를 평가하는 기법을 검토하며, 데이터 품질, 양 또는 모델 성능 향상의 마진을 기반으로 한다.
• 클라이언트의 기여도에 따라 보상을 분배하는 인센티브 메커니즘을 검토하며, 무료 승객 문제를 해결한다.
• 게임 이론, 사회적 규범, 설명 가능성의 통찰을 통합하여 신뢰를 구축하고 악성 행동을 방지하는 강건한 FAFL 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 기존의 FAFL 접근 방식은 연합 학습 파이프라인의 다양한 단계에서 정의를 어떻게 정의하고 구현하는가?
• RQ2 현행 FAFL 연구에서 널리 채택된 주요 가정과 정의 개념(예: 이윤 중심, 평등 중심)은 무엇인가?
• RQ3 정의 문제는 연합 학습에서 클라이언트 선택, 모델 최적화, 기여 평가, 인센티브 분배 단계에서 어떻게 나타나는가?
• RQ4 FAFL 알고리즘의 성능과 정의성을 측정하기 위해 일반적으로 사용되는 평가 지표는 무엇인가?
• RQ5 지속 가능하고 공정한 연합 학습을 달성하기 위한 주요 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 연합 학습에서 정의 문제들은 모든 단계에서 발생한다: 낮은 능력을 지닌 클라이언트가 불공정하게 배제되면 일반화 능력 저하와 참가 감소가 발생한다.
• 전체 손실 최소화 기반의 모델 최적화는 국지적 데이터 분포의 다양성을 간과할 수 있어, 개별 클라이언트의 데이터에 대한 예측 편향을 초래할 수 있다.
• 모든 클라이언트에게 동일한 모델을 배포하는 인센티브 체계는 기여도가 다를 경우 불공정하게 여겨지며, 무료 승객 문제를 악화시킬 수 있다.
• 기여 평가는 정의에 매우 중요하지만, 현재의 방법들은 종종 자가 보고된 데이터나 마진 성능 향상에 의존하여 진정된 영향을 반영하지 못할 수 있다.
• 기존의 FAFL 접근 방식은 비금전적 인센티브 체계에서 모델 성능에 대한 정밀한 제어가 부족하여 실용적 구현에 제약을 받는다.
• 향후 FAFL 연구는 게임 이론적 메커니즘, 사회적 규범 형성, 설명 가능성 등을 탐색하여 신뢰를 구축하고 악성 행동을 방지하면서도 개인정보 보호를 유지해야 한다.