[論文レビュー] Federated Knowledge Distillation

Hyowoon Seo, Jihong Park+3 more|arXiv (Cornell University)|Nov 4, 2020

Privacy-Preserving Technologies in Data被引用数 34

ひとこと要約

論文は連邦蒸留(FD)を通信効率の高い分散学習フレームワークとして分析し、KDと共蒸留(CD)のNTKに基づく収束洞察を提供し、分類のためのFDを導入してパフォーマンスと通信のトレードオフを示し、ワイヤレスおよび強化学習設定への拡張を提案する。

ABSTRACT

Distributed learning frameworks often rely on exchanging model parameters across workers, instead of revealing their raw data. A prime example is federated learning that exchanges the gradients or weights of each neural network model. Under limited communication resources, however, such a method becomes extremely costly particularly for modern deep neural networks having a huge number of model parameters. In this regard, federated distillation (FD) is a compelling distributed learning solution that only exchanges the model outputs whose dimensions are commonly much smaller than the model sizes (e.g., 10 labels in the MNIST dataset). The goal of this chapter is to provide a deep understanding of FD while demonstrating its communication efficiency and applicability to a variety of tasks. To this end, towards demystifying the operational principle of FD, the first part of this chapter provides a novel asymptotic analysis for two foundational algorithms of FD, namely knowledge distillation (KD) and co-distillation (CD), by exploiting the theory of neural tangent kernel (NTK). Next, the second part elaborates on a baseline implementation of FD for a classification task, and illustrates its performance in terms of accuracy and communication efficiency compared to FL. Lastly, to demonstrate the applicability of FD to various distributed learning tasks and environments, the third part presents two selected applications, namely FD over asymmetric uplink-and-downlink wireless channels and FD for reinforcement learning.

研究の動機と目的

• FDをモデルパラメータの交換が高コストな場合の通信効率の高い代替手段としての動機づけを説明する。
• ニューラルタンジェントカーネル(NTK)理論を用いてKDとCDを開発・分析し、収束を理解する。
• ラベルごとにロジットを集約しグローバルロジット蒸留を行う分類の実用的なFDベースラインを提示する。
• MNISTとスケーラビリティのシナリオにおける実験を通じて、FDの通信効率と精度のトレードオフをFLと比較して示す。
• FDをワイヤレスチャネル、非IIDデータ、強化学習タスクへ拡張する。

提案手法

• KDとCDのNTKベースの連続時間ダイナミクスを導出し、真理値への収束を特徴づける。
• ラベルでサンプルをグループ化し、局所平均ロジットを交換して各ラベルのグローバルロジットを作成することでFederated Distillation (FD)を導入する。
• ラベルごとのロジットギャップに基づく蒸留正則化項を用いたFD最適化を定式化し、グローバルな知識が局所でどう利用されるかを示す。
• FDのアルゴリズム説明（Algorithm 1）を提示し、局所訓練とグローバルアンサンブル段階を説明する。
• IIDおよびnon-IID設定下でのMNISTにおけるFDとFLの精度および通信ペイロードの比較。
• MixFLDおよびMix2FLDを用いたMixupに基づくプライバシー保護を通じて、ワイヤレスチャネルシナリオとアップリンク-ダウンリンク非対称性にFDを拡張する。

実験結果

リサーチクエスチョン

• RQ1 NTK理論を用いてKDとCDをカーネル領域で理解し、収束を保証できるか。
• RQ2 通信を削減しつつ学習性能を維持・向上させるようにFDで連邦学習を置換・補完できるか。
• RQ3 データ分布（IID対非IID）がFDの性能に与える影響はFLと比べてどうか。
• RQ4 FDをワイヤレスネットワークとチャネル非対称性に適応させつつプライバシーを維持できるか。
• RQ5 Proxyデータを用いたFDやMixupベースのアプローチは、非IIDデータやプライバシー制約下でのFDの精度低下を緩和できるか。

主な発見

• KDはNTK仮定の下で真理ラベルと教師ロジットを組み合わせる固定点へ収束する。
• CDは通信ラウンド数を増やすほど予測誤差をゼロにでき、ワーカー数が増えると収束が加速し一括CDも可能になる。
• FDは1ラウンドあたりの通信ペイロードを大幅に削減し、2人のワーカーでMNISTの収束が約4.3倍高速化されるなど、IID設定下での精度トレードオフを最小限に抑える。
• FDの通信効率はワーカー数とともにスケールし、IIDおよび非IIDデータ分布にわたってFLと比較して総通信コストを大幅に削減する。
• MixFLDおよびMix2FLDはアップリンク-ダウンリンクの非対称性とMixupによるプライバシー保護を扱い、種サンプルを用いたKDを実現しつつプライバシーを維持する拡張を提供する。
• Proxyデータを用いたFDは非IIDデータ下でのロジットの共通参照を提供することで精度を改善できる可能性がある。