[논문 리뷰] Active Federated Learning

Jack Goetz, Kshitiz Malik외 4명|arXiv (Cornell University)|2019. 09. 27.

Privacy-Preserving Technologies in Data참고 문헌 13인용 수 83

한 줄 요약

Active Federated Learning (AFL)은 현재 모델과 클라이언트 데이터에서 계산된 가치 함수에 따라 클라이언트 코호트를 선택하여 정확도를 유지하면서 학습 반복 수를 20-70% 감소시킵니다.

ABSTRACT

Federated Learning allows for population level models to be trained without centralizing client data by transmitting the global model to clients, calculating gradients locally, then averaging the gradients. Downloading models and uploading gradients uses the client's bandwidth, so minimizing these transmission costs is important. The data on each client is highly variable, so the benefit of training on different clients may differ dramatically. To exploit this we propose Active Federated Learning, where in each round clients are selected not uniformly at random, but with a probability conditioned on the current model and the data on the client to maximize efficiency. We propose a cheap, simple and intuitive sampling scheme which reduces the number of required training iterations by 20-70% while maintaining the same model accuracy, and which mimics well known resampling techniques under certain conditions.

연구 동기 및 목표

• Federated Learning에서 smarter한 클라이언트 선택으로 커뮤니케이션 및 계산 비용을 감소시키는 것을 동기 부여한다.
• 클라이언트에서 평가된 가치 함수를 사용하는 AFL 프레임워크를 도입한다.
• AFL이 훨씬 적은 학습 라운드(20-70% 더 적은 학습 라운드)로 같은 정확도를 달성할 수 있음을 보인다.
• 개인정보 보호(차등 프라이버시) 및 잠재적 확장과 같은 실용적 고려사항을 논의한다.

제안 방법

• 현재 모델 w^(t)을 사용하여 온-디바이스에서 클라이언트 데이터를 평가하는 가치 함수 V를 정의한다.
• 서버는 선정된 클라이언트들로부터 평가값 {v_k}를 수집하고 이를 다음 라운드의 샘플링 분포로 변환한다.
• 자연스러운 선택은 손실 기반 평가 v_k = (1 / sqrt(n_k)) l(x_k, y_k; w^(t))이다.
• 조정 매개변수 (α1, α2, α3)로 소프트맥스와 유사한 메커니즘을 통해 평가를 확률로 변환한다.
• 차등 프라이버시 관점을 도입하고 누출을 방지하기 위한 프라이버시 보호 질의(예: Sparse Vector)를 논의한다.
• 실험적으로 AFL을 Reddit 및 Sticker Intent 데이터셋에서 균일한 무작위 클라이언트 선택과 비교하여 유사한 정확도에 대해 20-70% 더 적은 에폭을 보여준다.

실험 결과

연구 질문

• RQ1 활동적이고 모델-정보를 이용한 클라이언트 선택이 연합 학습에서 정확도를 손상시키지 않으면서 학습 라운드 수를 줄일 수 있는가?
• RQ2 모델 개선에 대한 클라이언트의 유용성을 가장 잘 반영하도록 온-디바이스에서 평가값은 어떻게 계산되어야 하는가?
• RQ3 차등 프라이버시가 평가 기반 클라이언트 선택과 전반적 성능에 어떤 영향을 미치는가?
• RQ4 실용적인 데이터셋에서 AFL은 표준 Random Sampling 및 서버 측 재샘플링과 어떻게 비교되는가?
• RQ5 AFL의 샘플링을 지배하는 튜닝 매개변수 α1, α2, α3와 가치 함수는 효율성과 정확도에 어떤 영향을 미치는가?

주요 결과

• AFL은 균일 클라이언트 선택에 비해 20-70% 더 적은 학습 에폭으로 유사한 모델 정확도를 달성한다.
• 손실 기반 평가를 사용하면 더 큰 유용성을 가진 클라이언트와의 상관관계가 증가하고 수렴 속도가 빨라진다.
• AFL의 클라이언트 중심 샘플링은 Reddit 데이터에서 서버측 데이터 포인트 재샘플링보다 관찰된 이점이 크게 앞선다.
• AFL 프레임워크는 온-디바이스 평가 계산 및 프라이버시 고려사항으로 실용적 타당성을 입증한다.
• AFL의 이득은 α1, α2, α3 및 사용된 가치 함수에 따라 달라진다.