[論文レビュー] FedZKT: Zero-Shot Knowledge Transfer towards Heterogeneous On-Device Models in Federated Learning.

Lan Zhang, Xiaoyong Yuan|arXiv (Cornell University)|Sep 8, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用数 6

ひとこと要約

FedZKT は、サーバーが多様なクライントモデルに対して訓練されたジェネレータを用いてリソース集約的な distillation を実行するゼロショット distillation を通じて、非均一なデバイスモデル間での知識伝達を可能にするフェデレーテッドラーニングフレームワークを提案する。これにより、デバイスの負荷を著しく軽減しながらも、非 IID データおよび遅延クライアントの状況下でもモデル性能を維持できる。

ABSTRACT

Federated learning enables distributed devices to collaboratively learn a shared prediction model without centralizing on-device training data. Most of the current algorithms require comparable individual efforts to train on-device models with the same structure and size, impeding participation from resource-constrained devices. Given the widespread yet heterogeneous devices nowadays, this paper proposes a new framework supporting federated learning across heterogeneous on-device models via Zero-shot Knowledge Transfer, named by FedZKT. Specifically, FedZKT allows participating devices to independently determine their on-device models. To transfer knowledge across on-device models, FedZKT develops a zero-shot distillation approach contrary to certain prior research based on a public dataset or a pre-trained data generator. To utmostly reduce on-device workload, the resource-intensive distillation task is assigned to the server, which constructs a generator to adversarially train with the ensemble of the received heterogeneous on-device models. The distilled central knowledge will then be sent back in the form of the corresponding on-device model parameters, which can be easily absorbed at the device side. Experimental studies demonstrate the effectiveness and the robustness of FedZKT towards heterogeneous on-device models and challenging federated learning scenarios, such as non-iid data distribution and straggler effects.

研究の動機と目的

• デバイスのリソースやモデルアーキテクチャのばらつきによるフェデレーテッドラーニングにおける非均一なオンデバイスモデルのトレーニングの課題に対処すること。
• 同期されたトレーニングデータや共有されたモデル構造を必要とせずに、異なるサイズや構造のモデル間での有効な知識伝達を可能にすること。
• 計算負荷の高い distillation プロセスをサーバーにオフロードすることで、オンデバイスの計算負担を軽減すること。
• 実用的導入環境における非 IID データ分布および遅延クライアントの影響を受けるフェデレーテッドラーニングの耐障害性を高めること。

提案手法

• 各デバイスがローカルデータとリソース制約に基づいて、自らのオンデバイスモデルを独立して選択・トレーニングすること。
• 共通の事前学習モデルやデータジェネレータを必要としないゼロショット distillation のアプローチを開発すること。
• distillation タスクをサーバーに割り当て、サーバーが非均一なクライントモデルのアンサンブルと敵対的に整合するようにジェネレータを訓練すること。
• サーバーのジェネレータと集約されたクライントモデル間の敵対的トレーニングにより中央知識を構築し、その知識をモデルパラメータとして再び distillation すること。
• サーバーが提供する知識を直接使用して、ローカルモデルパラメータを更新することで、デバイス側での知識の適応を可能にすること。
• サーバーの計算能力を活用して知識 distillation の複雑さを処理し、オンデバイスの計算を最小限に抑えること。

実験結果

リサーチクエスチョン

• RQ1 モデル構造の整合性や共有データを必要とせずに、フェデレーテッドラーニングにおける非均一なオンデバイスモデル間で知識を有効に伝達できるか？
• RQ2 リソース制限のあるデバイスにおけるフェデレーテッドラーニングの知識 distillation の計算コストをどのように最小化できるか？
• RQ3 非 IID データ分布および遅延クライアントの影響下でも、FedZKT はどの程度モデル性能を維持できるか？
• RQ4 サーバー側のジェネレータを用いた敵対的トレーニングに基づくゼロショット distillation 機構は、多様なモデル間で耐障害的な知識伝達を達成できるか？

主な発見

• FedZKT は、モデルやデータの整合性を必要とせずに、サイズやアーキテクチャが異なるオンデバイスモデル間で有効な知識伝達を可能にする。
• サーバーに依存する distillation 機構により、オンデバイスの計算負荷が著しく軽減され、リソース制限のあるデバイスでもフェデレーテッドラーニングが実現可能になる。
• FedZKT は非 IID データ分布下でも優れた性能を示し、偏ったクライントデータでも高いモデル精度を維持する。
• フレームワークは遅延クライアントの影響に対して耐性があり、遅延や信頼性の低いクライアントが全体のモデル性能を低下させない。
• 実験結果から、FedZKT はベースライン手法と同等の精度を達成しながら、オンデバイスの計算を最小限に抑えることが確認された。
• ゼロショット distillation のアプローチにより、公開データセットや事前学習済みデータジェネレータに依存せず、プライバシーとスケーラビリティを高める知識伝達が可能になった。