[논문 리뷰] Hierarchically Fair Federated Learning

Jingfeng Zhang, Cheng Li외 2명|arXiv (Cornell University)|2020. 04. 22.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 43

한 줄 요약

계층적으로 공정한 연합 학습(HFFL)을 제안하여 연합 구성원들의 기여 수준에 비례해 보상을 주고, 이 및 이의 확장 버전인 HFFL+가 이기종 모델을 지원합니다. 여러 데이터 세트에 대한 실증 평가를 통해 공정성 및 일반화 향상을 보여줍니다.

ABSTRACT

When the federated learning is adopted among competitive agents with siloed datasets, agents are self-interested and participate only if they are fairly rewarded. To encourage the application of federated learning, this paper employs a management strategy, i.e., more contributions should lead to more rewards. We propose a novel hierarchically fair federated learning (HFFL) framework. Under this framework, agents are rewarded in proportion to their pre-negotiated contribution levels. HFFL+ extends this to incorporate heterogeneous models. Theoretical analysis and empirical evaluation on several datasets confirm the efficacy of our frameworks in upholding fairness and thus facilitating federated learning in the competitive settings.

연구 동기 및 목표

• 에이전트가 자기 이익을 추구하고 격리된 데이터세트를 보유한 상황에서 연합 학습의 공정성을 촉진한다.
• 더 많은 기여가 더 큰 보상을 산출하는 기여 기반 보상 메커니즘을 제안한다.
• 다수의 기여 수준에서 모델을 학습하기 위한 HFFL을 도입하고 비례적 공정성을 입증한다.
• 수준 간에 이기종 모델 아키텍처를 허용하도록 HFFL+로 확장한다.
• 더 많은 데이터가 더 나은 일반화와 더 높은 보상을 초래한다는 이론적 및 실증적 근거를 제공한다.

제안 방법

• 공개적으로 검증 가능한 요인(데이터 용량, 데이터 품질, 수집 비용 등)을 기반으로 에이전트를 다수의 기여 수준으로 분류한다.
• 각 수준에서 f_l을 훈련하고, 이때까지의 모든 수준의 데이터를 사용하며, 상위 수준이 더 많은 데이터를 기여하여 더 높은 충실도의 모델을 구성한다.
• 각 수준 내 에이전트들 간에 FedAvg 스타일의 매개변수 집계를 사용하여 로컬 및 글로벌 모델을 업데이트한다.
• 다른 모델 아키텍처로 HFFL을 실행하고 각 수준마다 성능이 가장 좋은 모델을 선택하는 확장 HFFL+를 제공한다.
• 더 많은 데이터를 일반화 오차 감소로 연결하는 이론적 상한(표준 일반화 논증을 통한) 을 제시한다.
• 고정된 3단계 계층 구조를 가진 네 가지 데이터셋에 대한 실험으로 공정성과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 공헌 수준에 비례한 보상이 주어질 때 에이전트들이 연합 학습에 참여하도록 유도할 수 있는가?
• RQ2 계층적 기여 기반 학습(HFFL)이 비례적 공정성과 더 높은 기여를 보인 에이전트에 대한 향상된 모델을 달성하는가?
• RQ3 이기종 모델(HFFL+)로 확장하면 공정성을 유지하면서 수준 간 성능이 더 향상되는가?
• RQ4 상위 수준에서 더 많은 데이터 가용성이 연합 설정에서 더 나은 일반화/오차 경계와 연관되는가?
• RQ5 공개적으로 검증 가능한 기여 요인이 모델 의존적 가치 평가나 샤프리 기반 평가의 함정을 방지하기에 충분한가?

주요 결과

• 상위 기여 수준의 모델이 테스트 대상 네 가지 데이터셋에서 항상 하위 수준의 모델보다 더 좋은 성능을 달성한다.
• HFFL+는 각 수준별로 아키텍처를 선택하여 HFFL보다 일관되게 더 높은 모델 점수를 산출한다.
• 이론적 분석에 따라 상위 수준의 더 많은 데이터가 더 나은 일반화 가능성을 가진 모델로 이어진다.
• ADULT, MNIST, Fashion MNIST, IMDB 데이터셋에 대한 실증 결과가 제안된 공정 메커니즘과 작업 전반에서의 실용성을 확인한다.