[論文レビュー] Heterogeneous Federated Learning

Fuxun Yu, Weishan Zhang+6 more|arXiv (Cornell University)|Aug 15, 2020

Privacy-Preserving Technologies in Data参考文献 17被引用数 15

ひとこと要約

本稿は、特徴指向の正則化手法（Ψ-Net）を用いて構造的および特徴情報の整合性を強制する、新しい異種フェデレーテッドラーニングフレームワークを提案する。初期学習段階で特徴情報をグループ化されたニューラルネットワーク部品に明示的に割り当てることで、異種クライアント間で一致可能で構造的に整合されたモデルを実現し、収束速度、精度、通信効率を顕著に向上させる。特に非IIDデータ設定下でも顕著な改善が得られ、最新の手法を最大4.6%の精度向上で上回り、計算コストも低減する。

ABSTRACT

Federated learning learns from scattered data by fusing collaborative models from local nodes. However, due to chaotic information distribution, the model fusion may suffer from structural misalignment with regard to unmatched parameters. In this work, we propose a novel federated learning framework to resolve this issue by establishing a firm structure-information alignment across collaborative models. Specifically, we design a feature-oriented regulation method ({$Ψ$-Net}) to ensure explicit feature information allocation in different neural network structures. Applying this regulating method to collaborative models, matchable structures with similar feature information can be initialized at the very early training stage. During the federated learning process under either IID or non-IID scenarios, dedicated collaboration schemes further guarantee ordered information distribution with definite structure matching, so as the comprehensive model alignment. Eventually, this framework effectively enhances the federated learning applicability to extensive heterogeneous settings, while providing excellent convergence speed, accuracy, and computation/communication efficiency.

研究の動機と目的

• 異種クライアント間での構造的不整合とパラメータ分布の混沌さに起因するモデル統合不能の課題に対処すること。
• FedAvg や Permuationベースの手法（例：FedMA）に見られる、不正確な一致、高コスト、非IIDデータ下での性能劣化といった制限を克服すること。
• 特徴一致の初期化を保証し、学習全体を通じて構造的一致を維持する直接的なモデル制御アプローチを確立すること。
• 極めて異種的かつ非IIDなフェデレーテッドラーニング環境下で、収束速度、精度、通信／計算効率を向上させること。
• モデル構造と意味的特徴表現の両方を整えることで、多様で現実世界のデータ分布に耐性がありスケーラブルなフェデレーテッドラーニングを実現すること。

提案手法

• データおよびタスク分布に基づき、ニューラルネットワークアーキテクチャ内のグループ化された部品に特徴情報を明示的に割り当てる特徴指向の正則化手法Ψ-Netを提案する。
• 特定のクラスや特徴を別個のニューロングループにマッピングするグループ化メカニズムを設計し、学習開始直後から構造的および意味的整合性を確保する。
• グループ正則化（GN）を用いた正規化戦略を導入し、グループ内での内部共変量シフトを安定化させ、クライアント間での特徴一貫性を向上させる。
• フェデレーテッドアベレージング中に明確な構造的一致を維持するための専用協調スキームを適用し、不一致なパラメータ統合を防止する。
• パラメータの再順序付けに対しても関数が一貫したままであることを保証する、順列不変なモデル定式化を採用し、信頼性の高い一致を実現する。
• 異なるネットワークの深さやグループ構成に対しても耐性を持つ、深さに敏感なグループ化戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 モデル制御を通じた明示的特徴情報割り当てが、異種フェデレーテッドラーニングにおける構造的整合性を向上させ得るか？
• RQ2 本稿で提案するΨ-Net手法は、FedAvg や FedMA と比較して、極めて非IIDなデータ分布下でどの程度の性能を示すか？
• RQ3 グループ化メカニズムおよび正規化戦略が、フェデレーテッド環境下での収束速度とモデル精度にどの程度の影響を及ぼすか？
• RQ4 グループ化の深さやグループ数といったハイパーパrameterの選択に対して、本フレームワークはどの程度の耐性を示すか？
• RQ5 既存の最先端手法と比較して、通信および計算コストを低減しつつ、優れた性能を達成できるか？

主な発見

• 提案フレームワークは、同じ学習予算下で、FedMA や FedAvg、FedProx といった最先端手法を最大4.6%の精度向上で上回る。
• 10x50の偏ったデータ分布（非IID）設定下で、10グループを用いた場合、68.23%の精度を維持し、FedAvgの65.32%を上回る。
• 100グループを用いた場合、他の設定よりも収束が速く、最適でない精度でも67.23%の精度を達成しており、細分化された整合性の恩恵が顕著に現れている。
• 同じ学習予算下で、FedMA より最大2.4%、FedAvg や FedProx より3.0–4.0%の収束速度向上を達成する。
• グループ化の深さやグループ数に対して高い耐性を示し、CIFAR10上では広い範囲の設定で89%以上の精度を維持する。
• グループ正則化（GN）は性能を顕著に向上させ、本フレームワークはGNを用いることで88.26%の精度を達成したのに対し、FedAvgはGNを用いても83.34%にとどまり、内部の一貫性が向上していることが示された。