[논문 리뷰] FedCCEA : A Practical Approach of Client Contribution Evaluation for Federated Learning

Sung Kuk Shyn, Dong-Hee Kim외 1명|arXiv (Cornell University)|2021. 06. 04.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 12

한 줄 요약

FedCCEA는 원시 데이터에 접근하지 않고도 로컬 가중치와 데이터 크기만을 사용하여 페더레이티드 러닝에서 클라이언트 기여도를 평가하는 실용적인 방법을 제안한다. 샘플링된 데이터 크기에서 정확도 근사 모델(AAM)을 훈련시켜, 비특정 데이터 및 부분적 클라이언트 참여 조건에서도 효율적이고 확장 가능하며 정확한 기여도 순위를 제공한다. 이는 Shapley 값 및 LOO 기준보다 일관성과 강건성 면에서 뛰어나다.

ABSTRACT

Client contribution evaluation, also known as data valuation, is a crucial approach in federated learning(FL) for client selection and incentive allocation. However, due to restrictions of accessibility of raw data, only limited information such as local weights and local data size of each client is open for quantifying the client contribution. Using data size from available information, we introduce an empirical evaluation method called Federated Client Contribution Evaluation through Accuracy Approximation(FedCCEA). This method builds the Accuracy Approximation Model(AAM), which estimates a simulated test accuracy using inputs of sampled data size and extracts the clients' data quality and data size to measure client contribution. FedCCEA strengthens some advantages: (1) enablement of data size selection to the clients, (2) feasible evaluation time regardless of the number of clients, and (3) precise estimation in non-IID settings. We demonstrate the superiority of FedCCEA compared to previous methods through several experiments: client contribution distribution, client removal, and robustness test to partial participation.

연구 동기 및 목표

• 원시 데이터에 접근하지 않고도 페더레이티드 러닝에서 클라이언트 기여도 평가 문제를 해결하기 위해.
• 정확한 기여도 추정을 유지하면서도 클라이언트가 참여 시 자신의 데이터 크기를 자체적으로 선택할 수 있도록 하기 위해.
• 다양한 데이터 분포 설정에서 높은 정확도를 유지하는 확장 가능하고 효율적인 방법을 개발하기 위해.
• Shapley 값과 같은 계산 비용이 큰 방법에 대한 신뢰할 수 있고 실용적인 대안을 제공함으로써 클라이언트 선별 및 인centive 할당을 향상시키기 위해.

제안 방법

• FedCCEA는 샘플링된 데이터 크기와 로컬 모델 가중치를 기반으로 테스트 정확도를 예측하는 정확도 근사 모델(AAM)을 도입한다.
• AAM은 각 클라이언트의 일부 데이터를 사용하여 훈련되어 클라이언트의 데이터 품질과 크기 기여도를 추정한다.
• 클라이언트 기여도 평가는 다양한 데이터 크기에서의 테스트 정확도를 시뮬레이션하여 평가하며, 전체 데이터에 대한 직접 접근 없이도 기여도를 추정할 수 있다.
• 이 방법은 클라이언트가 각 라운드마다 다양한 데이터 크기를 선택할 수 있도록 하여 부분적 참여를 지원하며, 모든 구성에 대해 일관된 평가를 보장한다.
• Shapley 값과 같은 게임 이론적 방법을 대체하기 위해 계산 비용이 낮은 경험적 근사 프레임워크를 도입함으로써 지수적 계산 복잡도를 피한다.
• 이 방법은 비IIDs 및 노이즈가 있는 데이터 설정에서도 강건하게 설계되어, 데이터 이질성과 레이블 오염 조건에서도 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 원시 데이터에 접근하지 않고도 페더레이티드 러닝에서 클라이언트 기여도를 정확하게 추정할 수 있는가?
• RQ2 비IIDs 데이터 분포 및 레이블 노이즈 조건에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ3 클라이언트 수가 증가하고 데이터 크기가 다양할 경우 이 방법은 효율적으로 확장되는가?
• RQ4 Shapley 값 및 LOO와 비교해 일관성과 강건성 면에서 이 방법은 어떻게 성능을 내는가?
• RQ5 클라이언트가 부분적 데이터로 참여할 경우에도 이 방법은 정확한 클라이언트 순위를 유지하는가?

주요 결과

• FedCCEA는 기여도가 가장 낮은 클라이언트를 제거해도 높은 테스트 정확도를 유지하여 기여도 평가의 일관성과 정확성을 입증한다.
• 기여도가 가장 높은 클라이언트를 제거할 경우 성능이著명하게 저하되며, 이는 고영향 클라이언트를 정확히 식별하고 있음을 확인한다.
• TMC-SV 및 LOO와 달리 FedCCEA는 고기여 클라이언트와 저기여 클라이언트 간 성능 역전 현상을 보이지 않아 더 신뢰할 수 있는 평가를 제공한다.
• 부분적 참여 환경에서는 IID 및 강한 비IIDs 환경 모두에서 일관된 성능을 유지하며, 안정성 면에서 기준 모델들을 능가한다.
• Shapley 값과 달리 클라이언트 수에 관계없이 실용적인 평가 시간을 확보한다. Shapley 값은 지수적 복잡도로 인해 성능에 심각한 영향을 받는다.
• FedCCEA는 데이터 크기 선택을 명시적으로 고려하여, 클라이언트가 각 라운드마다 다른 양의 데이터를 사용할 경우에도 정확한 기여도 순위를 유지할 수 있다.