[論文レビュー] Federated Learning Of Out-Of-Vocabulary Words

Chen, Mingqing, Rajiv Mathews+2 more|arXiv (Cornell University)|Mar 26, 2019

Speech Recognition and Synthesis参考文献 19被引用数 104

ひとこと要約

この論文は、フェデレーテッドラーニングを用いて学習した文字レベルのLSTMが、デバイス上でOOV語を生成・ランク付けできることを示し、シミュレートされたFLで高い精度/再現率を達成し、デバイス上で意味のあるOOV語学習が可能であることを示す。

ABSTRACT

We demonstrate that a character-level recurrent neural network is able to learn out-of-vocabulary (OOV) words under federated learning settings, for the purpose of expanding the vocabulary of a virtual keyboard for smartphones without exporting sensitive text to servers. High-frequency words can be sampled from the trained generative model by drawing from the joint posterior directly. We study the feasibility of the approach in two settings: (1) using simulated federated learning on a publicly available non-IID per-user dataset from a popular social networking website, (2) using federated learning on data hosted on user mobile devices. The model achieves good recall and precision compared to ground-truth OOV words in setting (1). With (2) we demonstrate the practicality of this approach by showing that we can learn meaningful OOV words with good character-level prediction accuracy and cross entropy loss.

研究の動機と目的

• モバイルキーボードの語彙を拡張する動機づけとして、サーバへ敏感なテキストを送信することなくOOV語を学習する。
• 文字ベースのRNNを用いたオンデバイスフェデレーテッドラーニングによるOOV語学習の実現可能性を示す。
• 公開データ上のシミュレートFLと複数言語に跨る実デバイスFL設定での性能評価。
• 抽出されたOOV語は意味があり、現実世界のトレンドを反映していることを示す。

提案手法

• デバイス上でCIFG、peephole接続、および射影層を備えた多層LSTMを訓練する。
• method_note_1_2
• 3-6
• 1
• 2
• 3
• 4
• 5
• 6

実験結果

リサーチクエスチョン

• RQ1 サーバへ生のユーザテキストを転送することなく、フェデレーテッドラーニング設定は有用なOOV語を学習できるか？
• RQ2 生成分布はOOV語の真の語彙頻度とどの程度一致するか？
• RQ3 オンデバイスFLは言語を跨いで正確な文字レベル予測と受け入れ可能なクロスエントロピー損失に収束するか？

主な発見

• RedditデータでのシミュレートFLでは、モデルはトップ10^5の固有語で90.56%の精度と81.22%の再現率を達成する。
• オンデバイスFLはen_US, pt_BR, in_IDでトップ-3文字レベル予測精度55.8%、クロスエントロピー2.35を示す。
• このアプローチは、3言語に跨って意味のあるOOV語を学習し、トレンド語も含む。
• 適応的勾配裁定とモーメントはSGDベースラインより収束を改善する。
• トップサンプリングされたOOV語は真の傾向と一致し、スラング、略語、名前を含む。