[論文レビュー] Exploring the Distributed Knowledge Congruence in Proxy-data-free Federated Distillation

Zhiyuan Wu, Sheng Sun+6 more|arXiv (Cornell University)|Apr 14, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、核ベースの（KKR）および探索ベースの（SKR）戦略を用いて、局所的知識の精錬により、異種クライントの間で分散型知識の整合性を強制する、プロキシデータを不要とするフェデレーテッド・ディスティルレーションフレームワーク、FedDKCを提案する。局所的知識分布のピーク確率とシャノンエントロピーを整列させることで、追加の通信オーバーヘッドなしに顕著に向上した精度と高速な収束を達成し、異種環境下で最先端の手法を上回る性能を発揮する。

ABSTRACT

Federated learning (FL) is a privacy-preserving machine learning paradigm in which the server periodically aggregates local model parameters from clients without assembling their private data. Constrained communication and personalization requirements pose severe challenges to FL. Federated distillation (FD) is proposed to simultaneously address the above two problems, which exchanges knowledge between the server and clients, supporting heterogeneous local models while significantly reducing communication overhead. However, most existing FD methods require a proxy dataset, which is often unavailable in reality. A few recent proxy-data-free FD approaches can eliminate the need for additional public data, but suffer from remarkable discrepancy among local knowledge due to client-side model heterogeneity, leading to ambiguous representation on the server and inevitable accuracy degradation. To tackle this issue, we propose a proxy-data-free FD algorithm based on distributed knowledge congruence (FedDKC). FedDKC leverages well-designed refinement strategies to narrow local knowledge differences into an acceptable upper bound, so as to mitigate the negative effects of knowledge incongruence. Specifically, from perspectives of peak probability and Shannon entropy of local knowledge, we design kernel-based knowledge refinement (KKR) and searching-based knowledge refinement (SKR) respectively, and theoretically guarantee that the refined-local knowledge can satisfy an approximately-similar distribution and be regarded as congruent. Extensive experiments conducted on three common datasets demonstrate that our proposed FedDKC significantly outperforms the state-of-the-art on various heterogeneous settings while evidently improving the convergence speed.

研究の動機と目的

• クライント側のモデルの異種性に起因する、プロキシデータフリーなフェデレーテッド・ディスティルレーションにおける知識の不整合性の課題に対処すること。
• 外部のプロキシデータセットに依存しないようにしつつ、通信オーバーヘッドを低く保つこと。
• 異種フェデレーテッド・ラーニング環境下でのモデルの精度と収束速度を向上させること。
• クライント間で精錬された局所的知識が、安定したディスティルレーションを可能にする類似した分布を達成すること。
• サーバー側で計算的に実行可能な効率的な精錬メカニズムを設計すること。

提案手法

• プロキシデータセットを必要とせず、分散型知識の整合性を強制する、プロキシデータフリーなフェデレーテッド・ディスティルレーションフレームワーク、FedDKCを提案する。
• 正規化された局所的知識分布のピーク確率を整列させるために、核ベースの知識精錬（KKR）を導入する。
• 局所的知識のシャノンエントロピーをバランスさせることで、分布の類似性を促進する、探索ベースの知識精錬（SKR）を設計する。
• 理論的分析により、精錬された知識が近似的に類似した分布を満たすことが保証され、整合性のあるディスティルレーションが可能になる。
• グローバルディスティルレーションの際、サーバー上でKKRとSKRを適用し、集約の前にクライントの知識を精錬する。
• モデルパラメータの交換を回避し、知識転送にのみ依存することで、通信効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 プロキシデータフリーなフェデレーテッド・ディスティルレーションにおける、異種クライント間で知識の整合性をどのように強制できるか？
• RQ2 追加の通信オーバーヘッドを導入せずに、知識の乖離を効果的に低減するメカニズムは何か？
• RQ3 局所的知識のピーク確率とシャノンエントロピーを精錬することで、ディスティルレーションの安定性とモデル精度が向上するか？
• RQ4 KKRとSKRは、知識の整合性を達成する観点で、精度と柔軟性の観点でどのように比較できるか？
• RQ5 FedDKCは、異種FL環境下で、既存のプロキシデータフリーFD手法をどの程度上回るか？

主な発見

• FedDKCは、さまざまな異種設定下で、3つの一般的なデータセットにおいて、最先端のプロキシデータフリーなフェデレーテッド・ディスティルレーション手法を顕著に上回る。
• 提案されたKKRとSKRの精錬戦略は、局所的知識分布のピーク確率とシャノンエントロピーを整列させることで、知識の乖離を効果的に低減した。
• 実験の結果、FedDKCは、モデルパラメータの交換が行われないため、通信オーバーヘッドを低く保ちながら収束速度を向上させた。
• 実験的評価ではKKRがより高い精度を達成した一方、SKRはターゲット知識分布の設定においてより高い柔軟性を示した。
• サーバー上でKKRとSKRが負担する追加の計算コストは、グローバルディスティルレーションプロセスに比べて軽微で、無視できる水準であった。
• FedDKCは、分散型知識の整合性を活用することで、プロキシデータフリーFDにおいて、高精度と通信効率の両立を達成した最初のフレームワークである。