[論文レビュー] Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data

Eunjeong Jeong, Seungeun Oh+4 more|arXiv (Cornell University)|Nov 28, 2018

Privacy-Preserving Technologies in Data参考文献 4被引用数 443

ひとこと要約

論文は Federated Distillation (FD) および Federated Augmentation (FAug) を導入し、非IIDのプライベートデータ下での通信効率の良いオンデバイス学習を可能にし、通信を大幅に削減しつつ federated learning (FL) とほぼ同等の精度を達成します。FD はラベルごとの平均ロジットベクトルを用いてオンライン知識蒸留を行い、FAug はサーバーで訓練された GAN を用いてデータを IID 分布へ近づけるよう増強します。

ABSTRACT

On-device machine learning (ML) enables the training process to exploit a massive amount of user-generated private data samples. To enjoy this benefit, inter-device communication overhead should be minimized. With this end, we propose federated distillation (FD), a distributed model training algorithm whose communication payload size is much smaller than a benchmark scheme, federated learning (FL), particularly when the model size is large. Moreover, user-generated data samples are likely to become non-IID across devices, which commonly degrades the performance compared to the case with an IID dataset. To cope with this, we propose federated augmentation (FAug), where each device collectively trains a generative model, and thereby augments its local data towards yielding an IID dataset. Empirical studies demonstrate that FD with FAug yields around 26x less communication overhead while achieving 95-98% test accuracy compared to FL.

研究の動機と目的

• プライバシーを保護しつつ大規模な通信オーバーヘッドを伴わないオンデバイス ML を動機付け・実現する。
• デバイス間の非IID データが FL の性能を劣化させる問題に対処する。
• 低通信量での知識蒸留を可能にする FD と、データ分布を IID 的にする FAug を提案する。

提案手法

• FD は全モデルパラメータではなくモデル出力（ logits ）のみを交換して大規模なローカルモデルを可能にする。
• FD は per-label mean logit vectors をローカルに保存し、それをアップロードしてラベルごとのグローバル平均 logits を計算し、蒸留の教師として機能させる。
• FAug はサーバー上で条件付き GAN を訓練して欠損したターゲットラベルデータを増強し、デバイスが locally IID に近いデータセットを再現できるようにする。
• FAug のプライバシー処理として冗長なラベルを追加してデバイス-サーバーのプライバシ leakage を低減し、デバイス間のプライバシ leakage を分析する。
• 評価は非IID MNIST において FD/FD+FAug を FL/FL+FAug と、さまざまなデバイス数とターゲット/冗長ラベル設定で比較する。

実験結果

リサーチクエスチョン

• RQ1 FD が FL よりもはるかに低い通信量を達成しつつ、非IID プライベートデータ上で競争力のある精度を維持できるか。
• RQ2 FAug は管理可能なプライバシーと通信コストで非IID の性能ギャップを効果的に緩和するか。
• RQ3 デバイス数、ターゲットラベル、冗長ラベルの数が FD/FAug の精度とプライバシ leakage にどう影響するか。
• RQ4 FD と FAug の組み合わせが FL と比較して通信オーバーヘッドと精度のトレードオフをどう生むか。

主な発見

• FD with FAug は FL より約26倍の総通信量を削減しつつ、テスト精度を約95-98%に達成する。
• FD+FAug は、デバイス数が変化しても、ラベルあたりの精度向上と全体のテスト精度が FL とほぼ同等となる。
• 非 IID データ下では FD 単独は FL に比べて明らかな精度ギャップを示すが、FAug によりこのギャップの多くが埋まり（例：FD+FAug は FL の精度に近づく）、改善が見られる。
• 冗長ラベルの増加とデバイス数の増加に伴い、デバイス間プライバシ leakage が低下する傾向があり、ターゲットラベル開示のリスクが低減する。
• 冗長ラベルが多いほどデバイス間プライバシ leakage は低下し、ターゲットラベルが多いほど増加する。