[논문 리뷰] Training Fair Models in Federated Learning without Data Privacy Infringement

Che, Xin, Hu, Jingdi외 3명|arXiv (Cornell University)|2021. 09. 13.

Privacy-Preserving Technologies in Data참고 문헌 58인용 수 19

한 줄 요약

이 논문은 데이터 기밀성을 해치지 않으면서 크로스실(fedFair) 환경에서 공정한 기계 학습 모델을 훈련하는 새로운 피어드 학습 프레임워크를 제안한다. 국지적 추정에 비해 분산을 줄이는 피어드 추정 방법을 도입함으로써, 피어드 최적화에 공정성 제약을 통합하여 세 가지 실세계 데이터셋에서 최신 기술 수준의 공정성-정확도 트레이드오프를 달성하면서도, 클라이언트의 장애 발생에 대해서도 강건성을 유지한다.

ABSTRACT

Training fair machine learning models becomes more and more important. As many powerful models are trained by collaboration among multiple parties, each holding some sensitive data, it is natural to explore the feasibility of training fair models in federated learning so that the fairness of trained models, the data privacy of clients, and the collaboration between clients can be fully respected simultaneously. However, the task of training fair models in federated learning is challenging, since it is far from trivial to estimate the fairness of a model without knowing the private data of the participating parties, which is often constrained by privacy requirements in federated learning. In this paper, we first propose a federated estimation method to accurately estimate the fairness of a model without infringing the data privacy of any party. Then, we use the fairness estimation to formulate a novel problem of training fair models in federated learning. We develop FedFair, a well-designed federated learning framework, which can successfully train a fair model with high performance without data privacy infringement. Our extensive experiments on three real-world data sets demonstrate the excellent fair model training performance of our method.

연구 동기 및 목표

• 데이터 기밀성을 침해하지 않으면서 크로스실 피어드 학습 환경에서 공정한 기계 학습 모델을 훈련시키는 도전 과제를 해결하기 위해.
• 개별 클라이언트의 비밀스러운 데이터를暴露하지 않고도 정확하게 모델의 공정성을 추정할 수 있는 방법을 개발하기 위해.
• 기본적인 피어드 손실 함수에 피어드 추정을 통해 유도된 공정성 제약을 통합하여, 기밀성 제약 조건 하에 모델 정확도와 공정성을 동시에 최대화하는 새로운 피어드 최적화 문제를 수립하기 위해.
• 클라이언트의 장애 발생 상황에서도 성능을 유지할 수 있도록 강건한 피어드 학습 프레임워크를 설계하기 위해.
• 다양한 실세계 데이터셋에서 제안된 방법의 공정성-정확도 트레이드오프에서의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 국지적 클라이언트 추정치의 가중 평균으로 공정성 지표(예: 민족적 평등, 동일 기회)를 계산하는 피어드 추정 방법을 제안하여 추정 분산을 감소시킨다.
• 모델 정확도와 공정성을 균형 잡는 피어드 최적화 문제를 해결하기 위해 교차 기울기 프로젝션을 사용한다.
• 피어드 추정에서 유도된 공정성 제약을 표준 피어드 손실 함수에 통합하여 엔드 투 엔드 훈련을 가능하게 한다.
• 기울기 기반 최적화를 허용하기 위해 훈련 중에 공정성 지표를 근사하는 미분 가능한 공정성 대체 측정법(DGEO)을 사용한다.
• 남아 있는 클라이언트 추정치의 평균에 의존함으로써 클라이언트 장애 발생에 강건한 프레임워크를 설계하여 공정성 추정의 안정성을 유지한다.
• 세 가지 실세계 데이터셋(DRUG, COMPASS, ADULT)에서 로지스틱 회귀와 딥 네URAL 네트워크 모델 모두에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 개별 클라이언트의 비밀스러운 데이터를暴露하지 않고 피어드 환경에서 기계 학습 모델의 공정성을 정확하게 추정할 수 있는가?
• RQ2 국지적 공정성 추정에 비해 피어드 공정성 추정이 정확도와 분산 측면에서 더 우수한가?
• RQ3 기밀성 보장을 유지하면서도 모델 정확도와 공정성을 효과적으로 균형 잡는 피어드 최적화 프레임워크가 효과적인가?
• RQ4 피어드 학습 중 클라이언트 장애 발생에 대해 제안된 방법이 얼마나 강건한가?
• RQ5 실세계 데이터셋에서 제안된 프레임워크가 기존 기준들보다 더 나은 공정성-정확도 트레이드오프를 달성하는가?

주요 결과

• FedFair는 모든 데이터셋에서 공정성과 정확도의 조화 평균을 가장 높게 달성하여 국지 최적화(LCO) 및 기타 기준들보다 뛰어난 성능을 보였다.
• 피어드 추정 방법은 국지적 추정에 비해 공정성 추정 분산을 감소시켜 더 안정적이고 정확한 공정성 모니터링을 가능하게 하였다.
• 신경망 모델에서는 더 작은 에프사일론(ε)값(엄격한 공정성 제약)이 정규화 역할을 하여, 더 높은 모델 복잡도임에도 불구하고 테스트 정확도를 향상시켰다.
• FedFair는 클라이언트 장애 발생에 대해 강력한 강건성을 보였다: 특히 더 큰 데이터셋인 ADULT에서 50%의 클라이언트 장애율에도 조화 평균 성능이 안정적이거나 약간만 저하되었다.
• ADULT 데이터셋에서 FedFair는 50%의 클라이언트 장애율 조건에서도 높은 조화 평균 성능을 유지하여 대규모 피어드 환경에서의 강력한 내성성을 보였다.
• 공정성 추정이 비민감한 통계의 집계 결과로부터만 계산되기 때문에, 데이터 泄露 없이도 뛰어난 공정성 성능을 달성하였다.