[논문 리뷰] Federated Learning for Emoji Prediction in a Mobile Keyboard

Swaroop Ramaswamy Pillai, Rajiv Mathews외 2명|arXiv (Cornell University)|2019. 06. 11.

Digital Communication and Language인용 수 164

한 줄 요약

본 논문은 CIFG-LSTM 이모티콘 예측기를 Gboard용으로 연합 학습을 사용해 학습시키고, FL이 서버-학습 모델보다 성능이 더 우수하면서도 사용자의 데이터가 디바이스에 유지되는 것을 보이며, 트리거링 및 다양화 메커니즘을 도입한다.

ABSTRACT

We show that a word-level recurrent neural network can predict emoji from text typed on a mobile keyboard. We demonstrate the usefulness of transfer learning for predicting emoji by pretraining the model using a language modeling task. We also propose mechanisms to trigger emoji and tune the diversity of candidates. The model is trained using a distributed on-device learning framework called federated learning. The federated model is shown to achieve better performance than a server-trained model. This work demonstrates the feasibility of using federated learning to train production-quality models for natural language understanding tasks while keeping users' data on their devices.

연구 동기 및 목표

• 모바일 키보드에서 텍스트로부터 단어 수준 RNN을 사용한 이모티콘 예측을 시연한다.
• 언어 모델링에서의 사전 학습이 이모티콘 예측 학습의 속도를 높임을 보여준다.
• 유용성과 다양성의 균형을 맞추기 위한 트리거링 및 다양화 메커니즘을 제안한다.

제안 방법

• 256 유닛의 2층 CIFG-LSTM과 10,000 어휘를 사용해 100개의 이모티콘을 예측한다.
• 출력 투영을 제외한 레이어를 언어 모델링 태스크에 대해 사전 학습시켜 수렴을 개선한다.
• 클라이언트 업데이트를 연합 평균(Federated Averaging)으로 집계한다.
• <UNK> 클래스를 추가해 이모티콘 예측이 언제 표시될지 제어하는 온-디바이스 트리거링 메커니즘을 도입한다.
• 예측된 이모티콘 확률을 실증적 이모티콘 빈도로 스케일링해 다양화를 적용한다(S_i = P_hat(emoji=i|text) / P(emoji=i)^alpha).
• 서버 기반 및 연합 설정으로 학습 및 평가를 수행하고, Accuracy@1 및 AUC 지표를 비교한다.

실험 결과

연구 질문

• RQ1 연합 학습으로 학습된 CIFG-LSTM 이모티콘 예측기가 서버에서 학습된 모델보다 온-디바이스 이모티콘 제안에서 더 나은 성능을 보일 수 있는가?
• RQ2 언어 모델 사전 학습이 연합 환경에서 이모티콘 예측기의 수렴 및 성능을 향상시키는가?
• RQ3 트리거링 및 다양화 전략이 이모티콘 예측의 유용성과 다양성에 어떤 영향을 주는가?

주요 결과

• 연합 학습은 최고 서버 학습 모델보다 더 높은 Accuracy@1을 달성했다(0.256 대 0.239).
• 연합 모델은 서버 학습 모델과 비교해 서버 데이터에서 평가시 예측 성능이 비슷하거나 더 좋았으나 AUC는 더 낮았다.
• 큰 클라이언트 배치 크기(B)와 라운드당 더 많은 장치(K)가 모델 품질을 향상시키며, 일정 값 이상에서 수익률이 감소한다.
• 모멘텀 기반 서버 업데이트(momentum=0.9 with Nesterov)가 연합 실험에서 SGD 변형보다 더 우수하다.
• 실시간 트래픽에서 연합 모델이 서버 학습 모델보다 클릭률(CR), 이모티콘 공유, DAU가 더 높게 나타난다.
• 모바일에서 TensorFlow Lite를 이용한 인퍼런스의 지연이 약 1 ms 수준으로 낮다.