[논문 리뷰] Fairness-aware Agnostic Federated Learning

Wei Du, Depeng Xu외 2명|arXiv (Cornell University)|2020. 10. 10.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 7

한 줄 요약

이 논문은 테스트 데이터 분포가 알려져 있지 않거나 훈련 데이터와 다를 경우에도 높은 정확도와 공정성 보장을 보장할 수 있도록 샘플별 가중치를 손실 및 공정성 제약 조건에 적용하는 커널 재가중 함수를 사용하는 공정성 인식(aggressive) 비지성(federated) 학습 프레임워크인 AgnosticFair를 제안한다. 이 방법은 원시 데이터를 공유하지 않으면서도 데이터 분포 변화에 대해 강건한 성능을 보이며, 글로벌 및 로컬 클라이언트 모두에서 공정성을 확보한다.

ABSTRACT

Federated learning is an emerging framework that builds centralized machine learning models with training data distributed across multiple devices. Most of the previous works about federated learning focus on the privacy protection and communication cost reduction. However, how to achieve fairness in federated learning is under-explored and challenging especially when testing data distribution is different from training distribution or even unknown. Introducing simple fairness constraints on the centralized model cannot achieve model fairness on unknown testing data. In this paper, we develop a fairness-aware agnostic federated learning framework (AgnosticFair) to deal with the challenge of unknown testing distribution. We use kernel reweighing functions to assign a reweighing value on each training sample in both loss function and fairness constraint. Therefore, the centralized model built from AgnosticFair can achieve high accuracy and fairness guarantee on unknown testing data. Moreover, the built model can be directly applied to local sites as it guarantees fairness on local data distributions. To our best knowledge, this is the first work to achieve fairness in federated learning. Experimental results on two real datasets demonstrate the effectiveness in terms of both utility and fairness under data shift scenarios.

연구 동기 및 목표

• 테스트 데이터 분포가 알려져 있거나 훈련 데이터와 다를 경우 비지성 학습에서 공정성을 달성하는 데 도전하는 것.
• 알려지지 않은 테스트 데이터에서 높은 모델 정확도를 유지하면서도 공정성을 보장하는 프레임워크를 개발하는 것.
• 글로벌 훈련 데이터와 다를 수 있는 개별 클라이언트의 로컬 데이터 분포에서도 공정성을 보장하는 것.
• 클라이언트와 서버 간에 모델 파라미터와 계수만 교환함으로써 효율적인 최적화를 가능하게 하여 데이터 프라이버시를 보존하는 것.
• 분포 변화 하에서 공정성 제약 조건을 비지성 학습에 공식적으로 통합한 최초의 작업이 되는 것.

제안 방법

• 학습자와 악성 대안(악성 분포 생성) 간의 두 플레이어 최소최대 게임으로 공정성 인식 비지성 학습을 수식화한다.
• 손실 함수와 공정성 제약 조건을 모두 커널 재가중 함수로 매개변수화하여 분포에 강인한 최적화를 가능하게 한다.
• 각 훈련 샘플에 개별 재가중 값 할당을 통해 정확도와 공정성의 균형을 유지하기 위해 모델 파라미터와 함께 최적화한다.
• 클라이언트와 서버 간에 모델 파라미터와 재가중 계수만 교환하는 확률적 최적화 알고리즘을 적용하여 데이터 프라이버시를 보장한다.
• 재가중된 샘플을 사용하여 공정성 제약 조건(예: 민족적 평등성)을 비지성 손실에 통합함으로써 알려지지 않은 분포에서도 공정성을 확보한다.
• 글로벌 모델이 어떤 로컬 사이트에도 배포 가능함을 보장하며, 이는 로컬 데이터 분포에서도 공정성을 보장하기 때문이다.

실험 결과

연구 질문

• RQ1 비지성 학습 모델은 훈련 데이터와 다를 수 있는 알려지지 않은 테스트 데이터 분포에서도 공정성을 달성할 수 있는가?
• RQ2 데이터 분포 변화 상황에서 공정성이 글로벌 수준 뿐 아니라 각 개별 클라이언트의 데이터 분포에서도 보장될 수 있는가?
• RQ3 커널 재가중 함수는 분포 변화가 존재하는 상황에서 모델 정확도와 공정성을 효과적으로 균형 잡는 데 기여하는가?
• RQ4 클라이언트 수가 증가함에 따라 제안된 프레임워크가 높은 유틸리티를 유지하면서도 공정성을 확보할 수 있는가?
• RQ5 비독립 동일 분포(IID) 및 비독립 비동일 분포(non-IID) 설정 모두에서 표준 비지성 학습 및 공정성 인식 기반 모델과 비교해 볼 때, 이 프레임워크는 어떻게 성능을 내는가?

주요 결과

• AgnosticFair는 데이터 분포 변화 상황에서 AgnosticFair-b 및 [20]와 같은 기준 모델보다 더 높은 정확도와 공정성을 달성한다. 특히 non-IID 환경에서 두드러진다.
• Adult 및 Dutch 데이터셋에서 AgnosticFair는 테스트 데이터 분포가 알려지지 않은 상황에서도 높은 정확도(예: Adult에서 0.8111)를 유지하며, [20]의 0.7785보다 뛰어난 성능을 보인다.
• AgnosticFair로 훈련된 글로벌 모델은 글로벌 훈련 데이터와 다를 수 있는 모든 로컬 클라이언트에서 공정성을 보장한다.
• AgnosticFair의 성능은 클라이언트 수가 변할 때 안정적이며, LocalFair와 달리 클라이언트 수 증가에 따라 성능 저하가 심각하게 발생하지 않는다.
• IID 설정 하에서 AgnosticFair-a는 표준 비지성 학습(예: Adult에서 0.8130 대비 0.8111)과 유사한 정확도를 달성하여 이론적 등가성(empirical risk minimization)을 검증한다.
• 이 프레임워크는 높은 유틸리티를 유지하면서도 공정성을 효과적으로 보존하여 글로벌 및 로컬 환경 모두에서 분포 변화에 강건함을 입증한다.