[논문 리뷰] Unified Group Fairness on Federated Learning

Fengda Zhang, Kun Kuang외 7명|arXiv (Cornell University)|2021. 11. 09.

Privacy-Preserving Technologies in Data참고 문헌 47인용 수 8

한 줄 요약

이 논문은 클라이언트 수준, 특성 수준, 그리고 무관한 분포 정의의 정의를 동시에 보장하는 피어드 페더레이티드 러닝을 위한 통합된 그룹 형평성 프레임워크를 제안한다. 피어드 불확실성 집합 내에서 통합된 형평성 리스크를 수식화하고, 모멘텀 가속을 적용한 FMDA-M 최적화 알고리즘을 도입함으로써, 다양한 데이터 분포 이동 상황에서도 뛰어난 형평성과 강건성을 확보하며, 기존 방법들보다 형평성 지표와 수렴 안정성 측면에서 뛰어나다.

ABSTRACT

Federated learning (FL) has emerged as an important machine learning paradigm where a global model is trained based on the private data from distributed clients. However, most of existing FL algorithms cannot guarantee the performance fairness towards different groups because of data distribution shift over groups. In this paper, we formulate the problem of unified group fairness on FL, where the groups can be formed by clients (including existing clients and newly added clients) and sensitive attribute(s). To solve this problem, we first propose a general fair federated framework. Then we construct a unified group fairness risk from the view of federated uncertainty set with theoretical analyses to guarantee unified group fairness on FL. We also develop an efficient federated optimization algorithm named Federated Mirror Descent Ascent with Momentum Acceleration (FMDA-M) with convergence guarantee. We validate the advantages of the FMDA-M algorithm with various kinds of distribution shift settings in experiments, and the results show that FMDA-M algorithm outperforms the existing fair FL algorithms on unified group fairness.

연구 동기 및 목표

• 클라이언트 간 데이터 분포 이동과 민감한 특성으로 인한 형평성 격차를 해결하기 위해.
• 클라이언트 수준, 특성 수준, 그리고 무관한 분포 정의의 형평성을 하나의 일관된 프레임워크로 통합하기 위해.
• 이론적으로 탄탄한 강건한 최적화 알고리즘을 개발하여 수렴 보장을 하면서도 다양한 데이터 분포에서 형평성을 유지하기 위해.
• 다양한 Non-IID 설정 하에서 제안된 방법의 형평성, 강건성, 수렴 성능에 대한 실증적 검증을 수행하기 위해.

제안 방법

• 클라이언트와 민감한 특성 간의 분포 이동을 모델링하기 위해 피어드 불확실성 집합을 사용하여 통합된 그룹 형평성 리스크를 수식화한다.
• 클라이언트 수준 및 특성 수준의 형평성 리스크에 대한 상한을 제공하는 새로운 공정한 피어드 페더레이티드 프레임워크를 도입한다.
• 모멘텀 가속을 적용한 연합 미러 강하상승(Federated Mirror Descent Ascent) 알고리즘(FMDA-M)을 제안하며, 안정적인 그룹 가중치 업데이트를 위해 Bregman 발산 기반의 미러 강하상승을 활용한다.
• 최적화 과정에서 모멘텀 가속을 적용하여 수렴 속도와 안정성을 향상시킨다.
• 경계가 딱딱한 투영 연산으로 인한 불안정성을 피하기 위해, 미러 강하 기반의 부드러운 가중치 업데이트 규칙(Eq. 17)을 사용한다.
• 제안된 통합 형평성 리스크 하에서 FMDA-M 알고리즘의 이론적 수렴 보장을 제공한다.

실험 결과

연구 질문

• RQ1 단일 피어드 페더레이티드 러닝 프레임워크가 동시에 클라이언트 수준, 특성 수준, 그리고 무관한 분포 정의의 형평성을 달성할 수 있는가?
• RQ2 동적으로 변화하는 클라이언트 그룹과 알려지지 않은 미래 분포 상황에서도 형평성이 어떻게 보장될 수 있는가?
• RQ3 복잡한 데이터 분포 이동 상황에서 형평성과 수렴 안정성을 동시에 확보할 수 있는 최적화 전략은 무엇인가?
• RQ4 극한의 Non-IID 설정 하에서 제안된 방법이 기존의 공정한 피어드 러닝 알고리즘에 비해 강건성과 형평성 측면에서 어떻게 비교되는가?

주요 결과

• FMDA-M은 DRFA와 FedAvg에 비해 통합된 그룹 형평성에서 뛰어난 성능을 보이며, 특히 극한의 Non-IID 데이터 분포 이동 상황에서 두각을 나타낸다.
• 최악의 성능을 보이는 클라이언트의 성능을 유지함으로써 뛰어난 강건성을 확보하며, 정확도 격차가 최소화된다.
• FMDA-M은 다른 방법들이 Non-IID 수준이 높아질수록 성능이 급격히 떨어지는 것과는 달리, 모든 테스트된 분포 이동 상황에서 안정적인 성능을 유지한다.
• 유클리드 투영이 아닌 Bregman 발산 기반의 미러 강하를 사용함으로써 더 부드러운 가중치 업데이트와 향상된 수렴 안정성이 달성된다.
• FMDA-M에서의 모멘텀 가속 덕분에 더 적은 커뮤니케이션 라운드 수로 DRFA와 FMDA에 비해 유사한 수준의 형평성과 강건성을 달성할 수 있었다.
• 무관한 분포 정의 평가에서 FMDA-M은 이전에 본 적 없는 클라이언트 분포 패턴에 대해 강력한 성능을 유지하며, 새로운 데이터 분포에 대한 적응 가능성과 함께 그 타당성을 입증하였다.