[논문 리뷰] FedProf: Optimizing Federated Learning with Dynamic Data Profiling.

Wentai Wu, Ligang He외 4명|arXiv (Cornell University)|2021. 02. 02.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

FedProf는 글로벌 모델의 첫 번째 완전 연결층(FC-1)의 출력 분포에서 유도된 모델-데이터 지문을 통해 동적으로 데이터 프로파일링을 수행하는 프라이버시 보장형 피어드 학습 프레임워크를 제안한다. 이는 저품질 데이터를 가진 클라이언트를 식별하고 가중치를 낮추는 데 목적이 있다. 지문 매칭 기반으로 클라이언트 참가를 적응적으로 조정함으로써, FedProf는 수렴 라운드를 최대 75% 감소시키고 학습 시간을 최대 68% 단축시키며, 글로벌 모델 정확도를 최대 2.5% 향상시킨다.

ABSTRACT

Federated Learning (FL) has shown great potential as a privacy-preserving solution to learning from decentralized data which are only accessible locally on end devices (i.e., clients). In many scenarios, however, a large proportion of the clients are probably in possession of only low-quality data that are biased, noisy or even irrelevant. As a result, they could significantly degrade the quality of the global model we aim to build and slow down its convergence in the course of FL. In light of this, we propose a novel approach to optimizing FL under such circumstances without breaching data privacy. The key of our approach is a dynamic data profiling method for generating model-data footprints on each client and the server. The footprint encodes the representation of the global model on the corresponding data partition based on the output distribution of the model's first fully-connected layer (FC-1). By matching the footprints from clients and the server, we adaptively adjust each client's opportunity of participation in each FL round to mitigate the impact from the clients with low-quality data. We have conducted extensive experiments on public data sets using various FL settings. Results show that our method significantly reduces the number of rounds (by up to 75\%) and overall time (by up to 68\%) required to have the global model converge whiling increasing the global model's accuracy by up to 2.5\%.

연구 동기 및 목표

• 피어드 학습에서 클라이언트로부터 유입되는 저품질, 노이즈가 섞이거나 편향된 데이터로 인한 모델 성능 저하 및 수렴 속도 저하 문제를 해결하기 위함.
• 원시 데이터를 폭 lộ하지 않고도 저품질 클라이언트를 식별할 수 있는 프라이버시 보장 방법을 개발하기 위함.
• 데이터 품질에 기반해 클라이언트 참가를 적응적으로 조정함으로써 피어드 학습의 수렴 속도와 글로벌 모델 정확도를 향상시키기 위함.
• 모델 활성화에서 유도된 모델-데이터 지문을 활용해 실시간으로 클라이언트 우선순위를 동적으로 설정할 수 있도록 하기 위함.

제안 방법

• 클라이언트는 글로벌 모델의 첫 번째 완전 연결층(FC-1)의 출력 분포를 자신의 로컬 데이터에서 분석함으로써 모델-데이터 지문을 생성한다.
• 서버는 클라이언트의 지문을 집계하고 자체 지문과 매칭하여 데이터 품질과 일관성을 평가한다.
• 일치하지 않거나 불안정한 지문을 가진 클라이언트는 이후 피어드 학습 라운드에서 참여 확률이 낮아진다.
• 참여 확률은 각 라운드마다 지문 유사도에 따라 동적으로 조정되며, 원시 데이터를 공유하지 않으면서도 열악한 데이터의 영향을 줄인다.
• 이 방법은 전체적으로 피어드 학습 프레임워크 내에서 작동하며, 데이터 프라이버시를 유지하면서도 품질 인식 기반 클라이언트 선택을 가능하게 한다.
• 지문 매칭은 직접적인 데이터 전송이나 레이블링 없이도 데이터 품질의 대체 지표로 사용된다.

실험 결과

연구 질문

• RQ1 피어드 학습에서 클라이언트의 저품질 데이터를 데이터 프라이버시를 해치지 않으면서 어떻게 탐지할 수 있는가?
• RQ2 데이터 품질에 기반한 동적 클라이언트 참여가 피어드 학습의 수렴 속도와 모델 정확도 향상에 얼마나 기여하는가?
• RQ3 첫 번째 완전 연결층의 모델 활성화가 탈중앙화된 학습에서 데이터 품질의 신뢰할 수 있는 대체 지표로 활용될 수 있는가?
• RQ4 지문 매칭을 통한 적응적 클라이언트 선택은 피어드 학습에서 균일하거나 무작위 클라이언트 참여와 비교해 어떻게 다를까?
• RQ5 다양한 피어드 학습 환경에서 데이터 품질 인식 기반 클라이언트 가중치 설정이 학습 시간과 모델 수렴에 어떤 영향을 미치는가?

주요 결과

• FedProf는 기준 방법 대비 수렴에 필요한 피어드 학습 라운드 수를 최대 75% 감소시킨다.
• 다양한 공개 데이터셋과 피어드 학습 구성에서 전체 학습 시간을 최대 68% 단축시킨다.
• 저품질 데이터 소스의 영향을 줄임으로써 글로벌 모델 정확도가 최대 2.5% 향상된다.
• 원시 데이터에 접근하지 않더라도 지문 기반 매칭을 통해 저품질 데이터를 가진 클라이언트를 효과적으로 식별하고 가중치를 낮출 수 있다.
• 클라이언트 참여의 동적 조정은 모델 일반화 능력을 훼손하지 않으면서도 더 빠른 수렴을 이끈다.
• 원시 데이터나 레이블이 지문 계산 또는 매칭 과정에서 공유되지 않기 때문에 강력한 프라이버시 보장을 유지한다.