[論文レビュー] Model-Agnostic Round-Optimal Federated Learning via Knowledge Transfer

Qinbin Li, Bingsheng He+1 more|arXiv (Cornell University)|May 4, 2021

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿では、知識蒸留を用いて1ラウンドの通信で収束する、モデルに依存しない、ラウンド最適なフェデレーテッドラーニングアルゴリズムであるFedKTを提案する。この手法により、微分可能でないモデルの効率的な学習が可能となり、プライバシー保護のための微分プライバシーもサポートする。通信コストを最小限に抑えつつ、最先端の精度を達成または上回る。

ABSTRACT

Federated learning enables multiple parties to collaboratively learn a model without exchanging their local data. Currently, federated averaging (FedAvg) is the most widely used federated learning algorithm. However, FedAvg or its variants have obvious shortcomings. It can only be used to learn differentiable models and needs many communication rounds to converge. In this paper, we propose a novel federated learning algorithm FedKT that needs only a single communication round (i.e., round-optimal). With applying the knowledge transfer approach, our algorithm can be applied to any classification model. Moreover, we develop the differentially private versions of FedKT and theoretically analyze the privacy loss. The experiments show that our method can achieve close or better accuracy compared with the other state-of-the-art federated learning algorithms.

研究の動機と目的

• FedAvgの限界、すなわち多くの通信ラウンドを要し、微分可能モデルに限定される点を是正すること。
• 微分可能性に依存しないあらゆる分類モデルをサポートするフェデレーテッドラーニングフレームワークの開発。
• 1回の通信ラウンドで収束するラウンド最適性を達成しつつ、高いモデル精度を維持すること。
• フェデレーテッドラーニングプロセスに微分プライバシーを統合し、理論的プライバシー損失解析を提供すること。
• 知識移譲が、生のローカルデータを共有せずに効果的なモデル集約を可能にすることを実証すること。

提案手法

• 本手法は、1ラウンドでローカルモデルの予測（ソフトラベル）をグローバルモデルに知識として移譲することで、知識蒸留を用いてグローバルモデルを学習する。
• 各クライアントは自らのプライベートデータ上でローカルモデルを学習し、その予測結果（ソフトラベル）をグローバルモデルの知識として蒸留する。
• グローバルモデルはすべてのクライアントからの知識を集約して学習される。パラメータの平均化ではなく知識の集約を行うため、モデルに依存しない学習が可能になる。
• 知識（ソフトラベル）に適切にスケーリングされたノイズを追加することで、微分プライバシーを備えた拡張版が実現される。
• 理論的分析により、微分プライバシーを用いた場合のプライバシー損失が境界づけられ、クライントデータの機微性が保証される。
• 知識移譲のメカニズムにより、微分可能でないモデルを含むあらゆる分類モデルと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 多様なモデルにおいて、高いモデル精度を維持しつつ、フェデレーテッドラーニングをラウンド最適化することは可能か？
• RQ2 知識蒸留をフェデレーテッドラーニングに効果的に適用することで、パラメータ平均化の代わりに使用できるか？
• RQ3 提案手法は微分不能なモデルをサポートできるか。これにより、FedAvgの適用範囲を超えるか？
• RQ4 提案手法の微分プライバシー版における理論的プライバシー損失はいかほどか？
• RQ5 精度と通信効率の観点から、FedKTは最先端のフェデレーテッドラーニングアルゴリズムと比較してどのように性能を発揮するか？

主な発見

• FedKTは1回の通信ラウンドで収束し、FedAvgと比較して著しく訓練時間と通信コストを削減する。
• 本手法は、1ラウンドの通信のみで、最先端のフェデレーテッドラーニングアルゴリズムと同等またはそれ以上の精度を達成する。
• 知識蒸留により、多様で微分不能なモデル間でも効果的なモデル集約が可能となり、モデルに依存しないアプローチが実現される。
• 微分プライバシー版のFedKTは、境界づけられたプライバシー損失を有し、クライントデータの機微性を保証する明確なプライバシー保証を提供する。
• 実験的結果により、FedKTはさまざまなベンチマークデータセットで高い性能を維持することが確認され、強靭性と一般化能力が示された。