[論文レビュー] No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data

Mi Luo, Fei Chen+4 more|arXiv (Cornell University)|Jun 9, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用数 39

ひとこと要約

この論文は、非 IID データを用いたフェデレーテッドラーニングでは分類器層がバイアスの主な源となることを示し、仮想ガウス表現を用いる事後トレーニングの分類器キャリブレーションである CCVR を提案。 CIFAR-10、CIFAR-100、CINIC-10 で最先端の結果を達成している。

ABSTRACT

A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

研究の動機と目的

• データのヘテロゲネシティがフェデレーテッドラーニングで訓練された深層ネットワークの異なる層にどのような影響を与えるかを調査する。
• 非 IID データ下で分類器層が最も強い層間発散を示す理由を特定する。
• 事後学習で精度を向上させるプライバシー保護型の分類器キャリブレーション手法を開発する。

提案手法

• 特徴抽出器と線形分類器のモデルへの分解と Centered Kernel Alignment (CKA) を用いた層別表現の類似性分析。
• 非 IID データ下で分類器層がクロスクライアント表現類似性を最も低く持つこと、分類器の重みノルムが偏ることを示す。
• 訓練時の分類器に対する正則化手法（clsnorm, clsprox）と、分析のための IID データを用いた事後キャリブレーション（oracle）を提案。
• クラス別の特徴分布を局所統計で推定し、Gaussian Mixture Model から仮想特徴をサンプリングしてこれらの仮想特徴上で分類器を再訓練する「Classifier Calibration with Virtual Representations (CCVR)」を導入。
• プライバシー保護の根拠を提供: CCVR はクライアントがアップロードするGaussian統計のみを使用し、生データや特徴量は使用しない。

実験結果

リサーチクエスチョン

• RQ1 非 IID データはフェデレーテッドラーニングモデルの異なる層の表現にどのような影響を与えるか？
• RQ2 非 IID フェデレーテッド訓練下で分類器層は他の層よりもバイアスを受けやすいか、そしてキャリブレーションはこのバイアスを緩和できるか？
• RQ3 プライバシー保護された仮想表現を用いた事後のキャリブレーションは標準的なFLベンチマークで精度を大幅に改善できるか？
• RQ4 CCVR は非 IID 条件下での分類性能を改善する点で訓練時の正則化アプローチとどのように比較されるか？

主な発見

• CKA 分析により、分類器層は非 IID データ下でクロスクライアント表現類似性が最も低いことが示される。
• 分類器の重みノルムはサンプル数が多いクラスに偏る傾向があり、それが全体の性能低下につながる。
• 訓練時に分類器を正則化することは軽度のヘテロゲネシティ下では効果的だが、強いヘテロゲネシティ下では効果が限定的であり、実データを用いた事後キャリブレーションが精度を大幅に改善する。
• 仮想表現を学習済みのGaussian Mixture Model からサンプリングして用いる CCVR は CIFAR-10、CIFAR-100、CINIC-10 の精度を大幅に向上させ、いくつかのベースラインFL手法を上回る。
• CCVR はキャリブレーションデータが限られていても顕著な改善をもたらし、基盤となるフェデレーテッド訓練プロセスの変更を必要としない。
• CCVR の性能はクラス特徴を表すGaussian混合分布の分離性と相関があり、仮想特徴の数が多いほど、特に高ヘテロゲネシティ下で結果が改善される。