[논문 리뷰] Federated Learning Of Out-Of-Vocabulary Words

Chen, Mingqing, Rajiv Mathews외 2명|arXiv (Cornell University)|2019. 03. 26.

Speech Recognition and Synthesis참고 문헌 19인용 수 104

한 줄 요약

논문은 연합 학습을 통해 학습된 문자-레벨 LSTM이 장치에서 OOV 단어를 생성하고 순위를 매길 수 있음을 보여주며, 시뮬레이션 FL에서 높은 정밀도/재현율 및 실제 장치에서의 의미 있는 OOV 단어 학습을 달성합니다.

ABSTRACT

We demonstrate that a character-level recurrent neural network is able to learn out-of-vocabulary (OOV) words under federated learning settings, for the purpose of expanding the vocabulary of a virtual keyboard for smartphones without exporting sensitive text to servers. High-frequency words can be sampled from the trained generative model by drawing from the joint posterior directly. We study the feasibility of the approach in two settings: (1) using simulated federated learning on a publicly available non-IID per-user dataset from a popular social networking website, (2) using federated learning on data hosted on user mobile devices. The model achieves good recall and precision compared to ground-truth OOV words in setting (1). With (2) we demonstrate the practicality of this approach by showing that we can learn meaningful OOV words with good character-level prediction accuracy and cross entropy loss.

연구 동기 및 목표

• 모바일 키보드 어휘 확장을 위해 서버에 민감한 텍스트를 전송하지 않고 OOV 단어를 학습하는 것을 동기부여합니다.
• 문자 기반 RNN을 이용한 장치 내 연합 학습으로 OOV 단어 학습의 타당성을 보입니다.
• 공개 데이터에 대한 시뮬레이션 FL 및 여러 언어에 걸친 실제 장치 내 FL 설정에서의 성능을 평가합니다.
• 샘플링된 OOV 단어가 의미가 있으며 실제 트렌드를 반영한다는 것을 보여줍니다.

제안 방법

• 장치에서 CIFG, 피피홀 연결, 그리고 투영층을 갖춘 다층 LSTM을 학습합니다.
• method_note_1_2
• 3-6
• 1
• 2
• 3
• 4
• 5
• 6

실험 결과

연구 질문

• RQ1 연합 학습 설정이 원시 사용자의 텍스트를 서버로 전송하지 않고도 유용한 OOV 단어를 학습할 수 있는가?
• RQ2 생성된 분포가 OOV 단어의 실제 어휘 빈도와 얼마나 잘 일치하는가?
• RQ3 장치 내 FL이 언어 전반에서 문자 단위 예측의 정확성과 교차 엔트로피 손실을 수렴시키는가?

주요 결과

• 시뮬레이션 FL에서 Reddit 데이터를 사용했을 때, 모델은 상위 10^5개의 고유 단어에 대해 90.56%의 정밀도와 81.22%의 재현율을 달성합니다.
• 장치 내 FL은 en_US, pt_BR, 인도네시아어(id_ID)에서 상위-3 문자 수준 예측 정확도 55.8% 및 교차 엔트로피 2.35를 보여줍니다.
• 이 접근 방식은 세 가지 언어에 걸쳐 트렌딩 단어를 포함한 의미 있는 OOV 단어를 학습합니다.
• 적응형 그래디언트 클리핑과 모멘텀은 SGD 기준선보다 수렴을 향상시킵니다.
• 상위로 샘플링된 OOV 단어는 ground-truth 경향과 일치하며 속어, 약어, 이름을 포함합니다.