[논문 리뷰] Cumulative Utility Parity for Fair Federated Learning under Intermittent Client Participation

Stefan Kambiz Behfar, Richard Mortier|arXiv (Cornell University)|2026. 02. 14.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

본 논문은 Federated Learning에서 가용성-정규화 누적 효용을 정의하고 최적화하여 간헐적인 클라이언트 참여하에서 장기적 공정성을 달성하고, 역가용성 샘플링과 대리 업데이트를 사용하며, 기준 방법 대비 강한 실험적 이점을 보인다.

ABSTRACT

In real-world federated learning (FL) systems, client participation is intermittent, heterogeneous, and often correlated with data characteristics or resource constraints. Existing fairness approaches in FL primarily focus on equalizing loss or accuracy conditional on participation, implicitly assuming that clients have comparable opportunities to contribute over time. However, when participation itself is uneven, these objectives can lead to systematic under-representation of intermittently available clients, even if per-round performance appears fair. We propose cumulative utility parity, a fairness principle that evaluates whether clients receive comparable long-term benefit per participation opportunity, rather than per training round. To operationalize this notion, we introduce availability-normalized cumulative utility, which disentangles unavoidable physical constraints from avoidable algorithmic bias arising from scheduling and aggregation. Experiments on temporally skewed, non-IID federated benchmarks demonstrate that our approach substantially improves long-term representation parity, while maintaining near-perfect performance.

연구 동기 및 목표

• 실세계의 간헐적 클라이언트 참여 패턴 하에서 FL의 공정성을 촉진한다.
• 참여 기회를 시간에 걸쳐 고려한 누적 유틸리티 격차를 공정성 기준으로 정의하고 형식화한다.
• 참여 기회를 장기적으로 공정하게 만들되 성능을 희생하지 않는 메커니즘(가용성 모델링, 역가용성 샘플링, 대리 업데이트)을 개발한다.
• 간헐적 참여 하에서 누적 유틸리티 격차의 수렴 특성을 보장하는 이론적 보증을 제공한다.
• 시간적으로 왜곡된 참여 패턴을 가진 비IID 벤치마크에서 기준 방법과 비교하여 접근법을 실험적으로 검증한다.

제안 방법

• 학습 라운드 전반에 걸쳐 각 클라이언트의 누적 유틸리티를 유지하기 위해 시간적 유틸리티 추적을 도입한다.
• 장기적 가용성으로 유틸리티를 정규화하여 가용성-정규화된 유틸리티를 계산한다.
• 장기적 참여 기회를 균등화하기 위해 역가용성 가중치를 사용하는 적응적 샘플링을 구현한다.
• 데이터 누락을 완화하기 위해 누락된 클라이언트에 대한 표현 인식 대리 업데이트를 도입한다.
• 공정성과 대리 업데이트 영향에 관한 이론적 결과(정리 1, 정리 1, 보조정리 2–3, 정리 3)를 제공한다.
• 현실적인 가용성 트레이스를 갖춘 비IID CIFAR-10 벤치마크에서 q-FFL 및 PHP-FL과의 비교를 위해 평가한다.

Figure 1 : Distribution of device availability percentages for the trace data (Yang et al. , 2021 ) , where device availability percentage is defined as the percentage of time between the first and last times a device was seen to be live and available to perform FL, i.e., was charging and connected

실험 결과

연구 질문

• RQ1 클라이언트 참여가 간헐적이고 데이터/자원 제약과 상관관계가 있을 때 FL에서의 공정성은 어떻게 정의될 수 있는가?
• RQ2 가용성-정규화 누적 유틸리티가 수렴하며 역가용성 샘플링으로 효과적으로 균형을 이룰 수 있는가?
• RQ3 중단 패턴하에서 누락된 클라이언트에 대한 대리 업데이트가 모델 품질과 공정성을 보존할 수 있는가?
• RQ4 제안된 방법이 장기 표현 격차 및 성능 측면에서 기존 공정성 접근법(q-FFL, PHP-FL)과 어떻게 비교되는가?

주요 결과

Method	Avg Acc	Jain (Acc)	Utility CV	Jain (Utility)	Sel. Gap	Gini
q-FFL	60.1	0.72	0.64	0.42	0.80	0.35
PHP-FL	67.71	0.80	0.42	0.78	0.52	0.20
Ours (no surrogate)	80.43	0.975	0.28	0.88	0.31	0.04
Ours (with surrogate)	80.43	0.975	0.19	0.94	0.31	0.04

• 가용성-정규화 누적 유틸리티는 클라이언트 간의 장기적 격차를 줄여 표현의 패리티를 달성한다.
• 역가용성 샘플링은 이질적인 가용성에도 불구하고 장기적인 클라이언트 참여 빈도를 균등하게 한다.
• 누락된 클라이언트에 대한 대리 업데이트는 표현 손실을 완화하고 드롭아웃 하에서 학습의 연속성을 유지한다.
• 실험 결과는 근사적으로 완벽한 정확도 공정성(Jain_acc = 0.975)과 기준 대비 현저히 낮은 Utility CV(0.19)를 보인다.
• q-FFL 및 PHP-FL과 비교하여 제안된 방법은 더 높은 Avg Acc(80.43)와 더 나은 공정성 지표(선택 격차 및 지니 계수 감소)를 달성한다.
• 대리 업데이트가 추가된 버전은 비대리 변형과 동일한 Avg Acc 및 Jain_acc를 유지하면서 Utility CV와 유틸리티에 대한 Jain 지수를 개선한다.

Figure 2 : Accuracy and fairness variance versus round number using random sampling.