[論文レビュー] FedFed: Feature Distillation against Data Heterogeneity in Federated Learning

Yang Zhi-qin, Yonggang Zhang+5 more|arXiv (Cornell University)|Oct 8, 2023

Privacy-Preserving Technologies in Data被引用数 28

ひとこと要約

FedFed は、情報ボトルネック手法によって蒸留された性能感度特徴のみを共有し、性能堅牢な特徴はローカルに保持し差分プライバシーで保護することで、連合学習におけるデータの異質性を緩和する。

ABSTRACT

Federated learning (FL) typically faces data heterogeneity, i.e., distribution shifting among clients. Sharing clients' information has shown great potentiality in mitigating data heterogeneity, yet incurs a dilemma in preserving privacy and promoting model performance. To alleviate the dilemma, we raise a fundamental question: extit{Is it possible to share partial features in the data to tackle data heterogeneity?} In this work, we give an affirmative answer to this question by proposing a novel approach called { extbf{Fed}erated extbf{Fe}ature extbf{d}istillation} (FedFed). Specifically, FedFed partitions data into performance-sensitive features (i.e., greatly contributing to model performance) and performance-robust features (i.e., limitedly contributing to model performance). The performance-sensitive features are globally shared to mitigate data heterogeneity, while the performance-robust features are kept locally. FedFed enables clients to train models over local and shared data. Comprehensive experiments demonstrate the efficacy of FedFed in promoting model performance.

研究の動機と目的

• FLにおける異質性を緩和するためにすべてのデータ特徴を共有する必要性を問う。
• データ特徴を性能堅牢部分と性能感度部分に分割する。
• ノイズ付きでのみ性能感度特徴を共有するフレームワーク（FedFed）を開発する。
• 情報ボトルネックの原理を活用して特徴の分割と共有を導く。
• 複数のFLアルゴリズム、データセット、異質性設定にわたって実証的な利得を示す。

提案手法

• データ特徴を X = X_r + X_s に分割し、X_s は性能感度で I(X;Y|X_s)=0 は X_s がラベル情報を含むことを示す。
• Z（性能感度特徴）を学習して I(X;Y|Z) を最小化する制約として I(X;Z) ≤ I_IB を課すことで特徴蒸留を定式化する。
• Z を z(x;θ) によって実現し、X-Z を保存された特徴としてモデル化し、ジェネレータ q(x;θ) を用いて X_p = X_s + n、n ~ N(0, σ_s^2 I) を生成する。
• ローカルのプライベートな保存特徴と DP で保護された共有特徴の両方でローカル分類器を訓練し、完全なデータ共有なしにグローバルデータを構築できるようにする。
• X_p にノイズを加えて Z を保護する差分プライバシーを適用し、組み合わせ（定理 3.4）における FedFed の DP 保証を提供する。
• FedAvg、FedProx、SCAFFOLD、FedNova 上で FedFed を実装し、複数のデータセットと異質性設定を横断して評価する。

実験結果

リサーチクエスチョン

• RQ1 部分的なデータ特徴を共有するだけで、プライバシーを損なうことなく連合学習の異質性を緩和できるのか？
• RQ2 実践的に特徴を性能感度と性能堅牢の部分にどのように分割するべきか？
• RQ3 DP 保護とともに性能感度特徴を共有することで、収束と一般化は改善されるのか？
• RQ4 DP の組み合わせ下での FedFed のプライバシー保証と実務上の影響はどのようになるのか？

主な発見

• FedFed はすべての FL アルゴリズムとデータセットで収束速度と一般化を一貫して有意に改善する。
• DP 保護を伴う性能感度特徴の共有により、ローカルのプライベートデータとグローバルに共有されたデータを組み合わせて学習することが可能となり、性能が向上する。
• 情報ボトルネックの観点に guided された特徴蒸留は、共有可能な部分とプライベートな部分へ特徴を効果的に分割する。
• CIFAR-10/100、FMNIST、SVHN において、さまざまな異質性およびクライアント設定下で有意な利得を生むが、ベースライン手法がすでに集中化性能に近い場合は利得が限定的なこともある。
• DP 保護された共有特徴はプライバシー保証を提供し、同等のプライバシーを達成するために生データを共有するよりも小さなノイズで済むことを理論的に示す。