[논문 리뷰] Federated Evaluation of On-device Personalization

Kangkang Wang, Rajiv Mathews외 4명|arXiv (Cornell University)|2019. 10. 22.

Human Mobility and Location-Based Analysis인용 수 117

한 줄 요약

이 논문은 연합학습 내 디바이스 상 개인화 평가(FPE)를 도입하여 프라이버시를 보장하는 평가를 시연하고 모바일 키보드 언어 모델에 대해 사용자 수준의 주목할 만한 이점을 보여준다.

ABSTRACT

Federated learning is a distributed, on-device computation framework that enables training global models without exporting sensitive user data to servers. In this work, we describe methods to extend the federation framework to evaluate strategies for personalization of global models. We present tools to analyze the effects of personalization and evaluate conditions under which personalization yields desirable models. We report on our experiments personalizing a language model for a virtual keyboard for smartphones with a population of tens of millions of users. We show that a significant fraction of users benefit from personalization.

연구 동기 및 목표

• 프라이버시를 해치지 않으면서 글로벌 모델을 디바이스에서 개인화할 필요성을 제시한다.
• 개인화 전략을 평가하기 위해 연합학습 프레임워크를 확장한다.
• 개인화된 모델이 사용자 경험을 향상시키도록 보장하는 하이퍼파라미터와 게이팅 메커니즘을 식별한다.
• 대규모 실험을 통해 개인화가 상당수의 사용자에게 이익을 준다는 것을 입증한다.

제안 방법

• 연결 입력/출력 임베딩을 공유한 CIFG 기반 LSTM의 다음 단어 예측기를 사용한다.
• 수백만 개의 클라이언트에 걸쳐 Federated Averaging으로 기본 글로벌 모델을 훈련한다.
• 각 디바이스의 로컬 데이터를 사용하고 정의된 학습/테스트 분할로 글로벌 모델에서 파인튜닝하여 개인화한다.
• 개인화 전후의 로컬 테스트 셋에서 측정치를 비교하고 변화(delta) 지표를 업로드하여 개인화를 평가한다.
• 클라이언트 간의 delta 지표를 집계하여 분포를 분석하고 효과적인 하이퍼파라미터를 결정한다.

실험 결과

연구 질문

• RQ1 장치 내 개인화가 다른 사용자에게 해를 끼치지 않으면서 사용자 경험을 향상시킬 수 있는가, 그리고 배포를 어떻게 게이팅할 수 있는가?
• RQ2 어떤 하이퍼파라미터(배치 크기, 학습률, 중지 기준)가 개인화의 이점을 얻는 사용자 비율을 최대화하는가?
• RQ3 사용자 데이터 특성(토큰 수, 초기 정확도)과 개인화 이익이 어떻게 달라지는가?
• RQ4 프라이버시 보장된 연합학습 인프라에서 대규모로 개인화를 평가하는 것이 가능한가?

주요 결과

• 개인화는 평균 정확도를 0.166에서 0.19로 향상시켜 상대적으로 14.5%의 증가를 보인다.
• 50만 명 이상 클라이언트에서 서로 다른 하이퍼파라미터가 최소 0.02 정확도 향상을 얻은 사용자 비율을 다르게 나타낸다(예: B=5, L=0.1에서 47%, B=10, L=1.0에서 39%, B=10, L=0.1에서 29%).
• 더 작은 배치 크기는 더 높은 학습률에서 일부 사용자에게 더 큰 감소를 초래할 수 있으며, 이는 delta 히스토그램에 나타난다.
• 베이스라인 정확도가 낮은 사용자일수록 개인화의 이점을 더 많이 얻는 경향이 있다(예: baseline ≤ 0.1에서 상당한 이익).
• 결과는 데이터 인식형 하이퍼파라미터 튜닝의 중요성과 이익 있을 때만 개인화 모델을 배포하도록 하는 게이팅 메커니즘의 중요성을 강조한다.