[論文レビュー] No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data

Mi Luo, Fei Chen+4 more|arXiv (Cornell University)|Jun 9, 2021

Privacy-Preserving Technologies in Data被引用数 130

ひとこと要約

この論文は、分類器のバイアスが非IIDフェデレーテッドラーニングの主なボトルネックであることを示し、推定ガウス混合モデルから推定された仮想表現を用いたポストトレーニングの較正手法であるCCVRを導入し、標準ベンチマークで精度を顕著に向上させる。

ABSTRACT

A central challenge in training classification models in the real-world federated system is learning with non-IID data. To cope with this, most of the existing works involve enforcing regularization in local optimization or improving the model aggregation scheme at the server. Other works also share public datasets or synthesized samples to supplement the training of under-represented classes or introduce a certain level of personalization. Though effective, they lack a deep understanding of how the data heterogeneity affects each layer of a deep classification model. In this paper, we bridge this gap by performing an experimental analysis of the representations learned by different layers. Our observations are surprising: (1) there exists a greater bias in the classifier than other layers, and (2) the classification performance can be significantly improved by post-calibrating the classifier after federated training. Motivated by the above findings, we propose a novel and simple algorithm called Classifier Calibration with Virtual Representations (CCVR), which adjusts the classifier using virtual representations sampled from an approximated gaussian mixture model. Experimental results demonstrate that CCVR achieves state-of-the-art performance on popular federated learning benchmarks including CIFAR-10, CIFAR-100, and CINIC-10. We hope that our simple yet effective method can shed some light on the future research of federated learning with non-IID data.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータ異質性がニューラルネットワーク層の表現に与える影響を調査する。
• 非IIDデータで最も影響を受ける層を特定し、分類器の性能低下原因を診断する。
• 偏りを緩和するシンプルでプライバシー保護的な分類器較正法を提案する。
• 仮想表現を用いたポストトレーニング較正が標準的なベンチマークで最先端の結果を生むことを実証する。

提案手法

• 非IIDデータで訓練された局所モデルに対してCenter Kernel Alignment (CKA) による層ごとの表現を経験的に分析する。
• 分類器層が最も低いクライアント間類似性と偏った重みノルムを示すことを観察する。
• 正則化戦略（clsnorm, clsprox）とIIDサンプルをベースライン比較として用いたポスト較正の評価。
• Classifer Calibration with Virtual Representations (CCVR) の提案：クラスごとの特徴分布を推定し、ガウス混合モデルから仮想特徴をサンプルして分類器だけを再訓練する。
• プライバシー保護設計：局所的なガウス統計情報のみをアップロードする；CCVRはポスト-hocであり、既存のFL手法と組み合わせ可能。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータは層ごとの表現分岐、特に分類器において他の層よりも大きな差を生むか。
• RQ2 訓練中または訓練後に分類器のデバイアを行うことは、非IID条件下のフェデレーテッドラーニングの世界的な精度を改善できるか。
• RQ3 合成（仮想）表現を用いたポスト-hocでのプライバシー保護型の較正は最先端の性能を達成するのに十分か。
• RQ4 CCVRはどのデータ条件とハイパーパラメータで最大の効果を発揮するか。

主な発見

• 非IIDデータのもとで深い層ほど分類器の表現がクライアント間で分岐し、分類器が最も強いバイアスを示す。
• 分類器のポストトレーニング較正はCIFAR-10, CIFAR-100, CINIC-10の精度を著しく改善し、他の正則化手法を上回ることが多い。
• 訓練中に分類器だけを正則化すると軽度の異質性には有効だが、より高い異質性では効果が低下する；ポスト-hocの較正は頑健。
• 仮想表現をクラス条件付きガウス混合モデルから生成するCCVRは、FedAvg, FedProx, MOON などのベースラインFL手法に対して大きな改善をもたらす。
• CCVRの有効性は学習された特徴分布の分離度（GMM Wasserstein separability）と相関し、表現がすでに強い場合により大きな恩恵を受ける。