[論文レビュー] Communication-Efficient Federated Distillation

Felix Sattler, Arturo Marbán+2 more|arXiv (Cornell University)|Dec 1, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用数 13

ひとこと要約

本稿では、ソフトラベルの量子化とデルタコーディングを適用することで通信負荷を低減する通信効率の高いフレームワーク、Compressed Federated Distillation (CFD) を提案する。画像および言語モデリングタスクにおいて、Federated Averaging よりも 10,000 倍以上、標準的な Federated Distillation よりも 100 倍以上通信量を削減している。

ABSTRACT

Communication constraints are one of the major challenges preventing the wide-spread adoption of Federated Learning systems. Recently, Federated Distillation (FD), a new algorithmic paradigm for Federated Learning with fundamentally different communication properties, emerged. FD methods leverage ensemble distillation techniques and exchange model outputs, presented as soft labels on an unlabeled public data set, between the central server and the participating clients. While for conventional Federated Learning algorithms, like Federated Averaging (FA), communication scales with the size of the jointly trained model, in FD communication scales with the distillation data set size, resulting in advantageous communication properties, especially when large models are trained. In this work, we investigate FD from the perspective of communication efficiency by analyzing the effects of active distillation-data curation, soft-label quantization and delta-coding techniques. Based on the insights gathered from this analysis, we present Compressed Federated Distillation (CFD), an efficient Federated Distillation method. Extensive experiments on Federated image classification and language modeling problems demonstrate that our method can reduce the amount of communication necessary to achieve fixed performance targets by more than two orders of magnitude, when compared to FD and by more than four orders of magnitude when compared with FA.

研究の動機と目的

• 大規模モデルやリソース制限のあるクライアントに特に顕著な通信ボトル neck を軽減すること。
• Federated Averaging (FA) やその他の従来手法と比較して、Federated Distillation (FD) の通信効率を調査すること。
• データのキュレーション、ソフトラベルの量子化、デルタコーディング技術を用いて、FD の上行および下行通信を削減すること。
• モデル性能を維持しつつ通信コストを大幅に削減できる、新しい圧縮方式を開発すること。
• 提案手法の耐障害性およびスケーラビリティを、多様なデータ非独立性レベルおよびモデルアーキテクチャにおいて実証すること。

提案手法

• 情報量の多いサンプルを公開データセットから選別するアクティブディスティルレーション・データキュレーションを適用し、冗長な通信を削減する。
• 上行および下行通信の両方でソフトラベル表現に対して 1 ビット量子化を実装し、データ量を最小限に抑える。
• 前回の値からの差分を符号化することで、ソフトラベル更新の圧縮を図るデルタコーディングを導入する。
• クライント間でのモデル整合性を活用することで、ダウンストリーム通信をさらに圧縮する二重ディスティルレーション技術を提案する。
• 量子化とデルタコーディングを統合したフレームワーク、Compressed Federated Distillation (CFD) を構築し、高い圧縮率と最小限の性能低下を実現する。
• 公開済みのラベルなしデータセットを用いて、モデルパラメータの交換ではなくソフトラベルを交換することで、通信コストをモデルサイズから分離する。

実験結果

リサーチクエスチョン

• RQ1 Federated Distillation の通信コストは、ディスティルーションデータセットのサイズやデータ非独立性に伴いどのようにスケーリングされるか？
• RQ2 ソフトラベルの量子化とデルタコーディングを適用することで、性能劣化を伴わずに通信負荷をどの程度削減できるか？
• RQ3 1 ビット量子化は、特に非 i.i.d. データ条件下において、CFD の上行および下行通信にどのような影響を及えるか？
• RQ4 通信効率および収束速度の観点から、CFD は Federated Averaging や標準的な Federated Distillation と比べてどのように差がつくか？
• RQ5 提案された圧縮技術は、実世界の FLベンチマークにおいて、極めて高い通信削減を実現しながらも、モデルの精度を維持できるか？

主な発見

• 言語モデリングタスクにおいて、CFD は Federated Averaging と比較して累積通信量を最大 ×10,580 倍削減し、8,570 MB から 0.81 MB まで削減した。
• 画像分類タスクでは、CFD が標準的な Federated Distillation と比較して通信量を 100 倍以上削減した。
• 非 i.i.d. データ環境下でも、上行および下行両方向の 1 ビット量子化が、ターゲット精度に達するまでモデル性能を維持した。
• デルタコーディングを適用した場合や高水準のデータ非独立性下では通信コストがわずかに上昇するが、全体の圧縮効果は依然として顕著であった。
• CFD は i.i.d. および非 i.i.d. の両方のデータ非独立性レベルにおいて、CNN やトランスフォーマーの両方のモデルで一貫した性能と通信効率を示した。
• モデルパラメータの交換を一切行わないため、帯域制限があり、プライバシーが重視される環境においても適している。