[논문 리뷰] Towards Building a Robust and Fair Federated Learning System.

Xinyi Xu, Lingjuan Lyu|arXiv (Cornell University)|2020. 11. 20.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 21

한 줄 요약

이 논문은 보조 데이터가 필요 없이 자유로운 기여자나 악성 참여자를 탐지하고 제거함으로써 동시에 공정성과 내성적 안정성을 확보하는, 강건하고 공정한 플랫폼 학습(RFFL) 프레임워크를 제안한다. RFFL은 높은 기여도를 보이는 참가자를 보상하고, 자유로운 기여자나 악성 행위자를 탐지함으로써 표준 플랫폼 학습과 비교해 높은 공정성, 다양한 공격 유형에 대한 강력한 내성적 안정성, 유사한 정확도를 달성한다.

ABSTRACT

Federated Learning (FL) has emerged as a promising practical framework for effective and scalable distributed machine learning. However, most existing FL or distributed learning frameworks have not addressed two important issues well together: collaborative fairness and robustness to non-contributing participants (e.g. free-riders, adversaries). In particular, all participants can receive the 'same' access to the global model, which is obviously unfair to the high-contributing participants. Furthermore, due to the lack of a safeguard mechanism, free-riders or malicious adversaries could game the system to access the global model for free or to sabotage it. By identifying the underlying similarity between these two issues, we investigate them simultaneously and propose a novel Robust and Fair Federated Learning (RFFL) framework which utilizes reputation scores to address both issues, thus ensuring the high-contributing participants are rewarded with high-performing models while the low- or non-contributing participants can be detected and removed. Furthermore, our approach differentiates itself by not requiring any auxiliary dataset for the reputation calculation. Extensive experiments on benchmark datasets demonstrate that RFFL achieves high fairness, is robust against several types of adversaries, delivers comparable accuracy to the conventional federated framework and outperforms the Standalone framework.

연구 동기 및 목표

• 높은 기여도를 보이는 참가자가 제대로 보상받지 못하고, 낮거나 기여하지 않는 참가자가 시스템을 악용하는 문제를 해결하기 위해 플랫폼 학습에서 공정성과 내성적 안정성의 이중적 과제를 해결한다.
• 공정성과 내성적 안정성 문제 간의 근본적인 유사성을 규명하여 함께 최적화할 수 있도록 한다.
• 보조 데이터셋 없이도 참여자 기여도를 공정하게 보상하고, 자유로운 기여자나 악성 행위자를 탐지·제거할 수 있는 프레임워크를 설계한다.
• 다양한 악성 행동에 대비해 글로벌 모델의 정확성과 보안성을 유지하면서도 활동적인 참가자들에게 공정한 접근 기회를 보장한다.

제안 방법

• RFFL 프레임워크는 각 클라이언트의 기여도를 모델 업데이트와 학습 품질 기반으로 평가하는 동적 신뢰도 점수 기반 메커니즘을 도입한다.
• 신뢰도 점수는 모델 업데이트의 가중 평균과 글로벌 모델 방향과의 일치도를 기반으로 반복적으로 업데이트된다.
• 낮거나 음수의 신뢰도 점수를 가진 클라이언트는 향후 글로벌 모델 집계에서 제외된다.
• 신뢰도 시스템은 자체적으로 작동하며, 훈련 또는 검증을 위한 보조 데이터셋이나 참조 레이블이 필요하지 않다.
• 글로벌 모델은 높은 신뢰도를 가진 클라이언트의 기여만을 사용해 업데이트되므로, 공정성과 내성적 안정성이 보장된다.
• 프레임워크는 표준 플랫폼 학습 훈련 파이프라인과 호환되며, 기존 플랫폼 학습 시스템에 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 보조 데이터에 의존하지 않고 플랫폼 학습에서 공정성과 내성적 안정성을 동시에 향상시킬 수 있는가?
• RQ2 공정성과 내성적 안정성 간의 근본적인 관계는 무엇이며, 이를 통해 공동 최적화가 가능한가?
• RQ3 신뢰도 기반 시스템이 플랫폼 학습에서 기여하지 않는 또는 악성 클라이언트를 효과적으로 탐지하고 제거할 수 있는가?
• RQ4 제안된 RFFL 프레임워크는 표준 플랫폼 학습 및 독립형 기준 대비 정확도, 공정성, 다양한 공격 유형에 대한 내성적 안정성에서 어떤 성능을 보이는가?
• RQ5 신뢰도 점수화가 모델 수렴 속도와 클라이언트 참여의 공정성에 어떤 영향을 미치는가?

주요 결과

• RFFL은 기여도가 높은 참여자들이 신뢰도 기반 가중치를 통해 더 나은 성능의 모델을 받도록 함으로써 높은 공정성을 달성한다.
• 프레임워크는 자유로운 기여자와 다양한 유형의 악성 행위자를 효과적으로 탐지하고 제거하여 시스템의 내성적 안정성을 향상시킨다.
• RFFL은 기준 데이터셋에서 기존 플랫폼 학습과 유사한 정확도를 유지한다.
• 신뢰도 시스템은 보조 데이터셋이 필요 없어 부담을 줄이고 배포 용이성을 높인다.
• RFFL은 정확도는 그대로 유지하면서도 독립형 학습 프레임워크에 비해 공정성과 내성적 안정성에서 뛰어난 성능을 보인다.
• 낮은 신뢰도를 가진 클라이언트를 제거함으로써 글로벌 모델의 수렴 속도가 빨라지고 일반화 성능이 향상된다.