[論文レビュー] Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning

Wenke Huang, Mang Ye+2 more|arXiv (Cornell University)|Sep 28, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、ロジットおよび特徴量レベルでのクロス相関とインスタンス類似度分布の整合性を、ラベルなしの公開データを活用することで、異種設定における一般化性能を向上させる新しいフェデレーテッドラーニングフレームワークであるFCCL+を提案する。さらに、局所的アップデートにおける深刻な忘却を軽減するためのフェデレーテッド非ターゲット distillation（FNTD）を導入し、多様なドメインシフト状況において、通信量と計算コストが低く抑えられながらも最先端の性能を達成している。

ABSTRACT

Federated learning is an important privacy-preserving multi-party learning paradigm, involving collaborative learning with others and local updating on private data. Model heterogeneity and catastrophic forgetting are two crucial challenges, which greatly limit the applicability and generalizability. This paper presents a novel FCCL+, federated correlation and similarity learning with non-target distillation, facilitating the both intra-domain discriminability and inter-domain generalization. For heterogeneity issue, we leverage irrelevant unlabeled public data for communication between the heterogeneous participants. We construct cross-correlation matrix and align instance similarity distribution on both logits and feature levels, which effectively overcomes the communication barrier and improves the generalizable ability. For catastrophic forgetting in local updating stage, FCCL+ introduces Federated Non Target Distillation, which retains inter-domain knowledge while avoiding the optimization conflict issue, fulling distilling privileged inter-domain information through depicting posterior classes relation. Considering that there is no standard benchmark for evaluating existing heterogeneous federated learning under the same setting, we present a comprehensive benchmark with extensive representative methods under four domain shift scenarios, supporting both heterogeneous and homogeneous federated settings. Empirical results demonstrate the superiority of our method and the efficiency of modules on various scenarios.

研究の動機と目的

• フェデレーテッドラーニングにおけるモデルとデータの異種性に起因する一般化性能と安定性の制限を克服すること。
• ラベルなしの公開データを活用して、異種モデル間の知識移転を可能にすることで、通信の障壁を克服すること。
• 内部ドメインのパフォーマンスを損なわせることなく、局所的モデルアップデート中の深刻な忘却を軽減すること。
• 標準化されたドメインシフトシナリオ下での異種フェデレーテッドラーニングの評価のための包括的ベンチマークを確立すること。
• 今後の異種フェデレーテッドラーニング分野における再現可能で効率的かつ効果的なベースラインを提供すること。

提案手法

• ラベルなしの公開データを用いて、参加者間の表現同士のクロス相関行列を構築することで、異種モデル間での通信を可能にする。
• ロジットおよび特徴量レベルでのインスタンス類似度分布の整合性を図ることで、ドメイン間一般化性能の向上とドメイン内識別性の強化を実現する。
• ターゲットクラスの監視情報に依存せず、最適化の衝突を回避するため、過去のグローバルモデル状態から知識を蒸留する「フェデレーテッド非ターゲット distillation（FNTD）」を導入する。
• 温度制御されたソフトラベル蒸留損失を用いることで、ドメイン間知識の保持とドメイン内学習のラベル監視の両立を実現する。
• 知識移転の安定化のため、現在のラウンドのグローバルモデル（θ^e）ではなく、前ラウンドのグローバルモデル（θ^{e-1}）から動的ティーチャーモデルを構築する。
• 計算コストを最小限に抑えつつ、同種および異種設定の両方をサポートするモジュラーなフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャとデータ分布を持つ異種フェデレーテッドモデル間で、どのように効果的な通信を実現できるか？
• RQ2 異種モデル間での表現を最適に整合させる方法は何か？ これにより、ドメイン内およびドメイン間の両方のパフォーマンスが向上するか？
• RQ3 局所的モデルアップデート中に深刻な忘却をどのように軽減できるか？ また、ドメイン内精度を損なわずに行えるか？
• RQ4 ティーチャーモデルの選択が、局所トレーニング中にドメイン間知識をどのように保持するかに果たす役割は何か？
• RQ5 非ターゲットクラスに基づく蒸留と標準的な蒸留の間で、安定性とパフォーマンスにどのような差が生じるか？

主な発見

• FCCL+は、Digits、Office31、CIFAR-100を含む4つのドメインシフトシナリオにおいて、一貫したドメイン内およびドメイン間精度の向上を達成し、最先端の性能を実現した。
• ラベルなしの公開データの活用により、モデル異種性が存在する状況下でも、効果的なモデル間通信が可能となり、通信コストを増加させることなく一般化性能が著しく向上した。
• Federated Non-Target Distillation（FNTD）は、最適化の衝突を回避できるため、特にドメインシフトが顕著な状況下で、標準的な知識蒸留を上回る性能を示した。
• 温度ハイパーパrameter τ = 3 が最適な性能を発揮し、情報保持と分布スムージングのバランスを良好に保った。
• FNTDにおいて θ^{e-1} をティーチャーモデルとして使用することで、θ^e を使用する場合よりも、ドメイン内およびドメイン間の両方の知識をよりよく保持できた。
• Office31 などの挑戦的なシナリオにおいて、FCCL+は FedProx や他のベースラインを上回ったが、計算コストは低く抑えられ、パラメータ正則化の必要もなかった。