[論文レビュー] FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout

Samuel Horváth, Stefanos Laskaridis+4 more|arXiv (Cornell University)|Feb 26, 2021

Privacy-Preserving Technologies in Data参考文献 58被引用数 64

ひとこと要約

FjORDは、異種デバイス上でのフェデレーテッド学習を可能にする適応型の階層化サブモデルを実現するOrdered Dropoutを導入し、サブモデルの再訓練なしで公正性と精度を向上させます。さらに、小さなサブモデルを強化する自己蒸留メカニズムを含みます。

ABSTRACT

Federated Learning (FL) has been gaining significant traction across different ML tasks, ranging from vision to keyboard predictions. In large-scale deployments, client heterogeneity is a fact and constitutes a primary problem for fairness, training performance and accuracy. Although significant efforts have been made into tackling statistical data heterogeneity, the diversity in the processing capabilities and network bandwidth of clients, termed as system heterogeneity, has remained largely unexplored. Current solutions either disregard a large portion of available devices or set a uniform limit on the model's capacity, restricted by the least capable participants. In this work, we introduce Ordered Dropout, a mechanism that achieves an ordered, nested representation of knowledge in deep neural networks (DNNs) and enables the extraction of lower footprint submodels without the need of retraining. We further show that for linear maps our Ordered Dropout is equivalent to SVD. We employ this technique, along with a self-distillation methodology, in the realm of FL in a framework called FjORD. FjORD alleviates the problem of client system heterogeneity by tailoring the model width to the client's capabilities. Extensive evaluation on both CNNs and RNNs across diverse modalities shows that FjORD consistently leads to significant performance gains over state-of-the-art baselines, while maintaining its nested structure.

研究の動機と目的

• デバイスの能力が大きく異なる強いシステム異質性の下で、フェデレーテッド学習の動機づけを行う。
• 異なるデバイス階層のために再訓練なしで階層化サブモデルを訓練・展開できる仕組みを提案する。
• 知識伝達を維持しつつ、デバイスの制約に合わせて推論時にモデル幅を動的にスケールさせることを可能にする。
• 小さなサブモデルの特徴抽出を強化する自己蒸留アプローチを導入する。

提案手法

• 各レイヤーごとに順序付けられた階層的な方法でモデル幅を剪定するために、Ordered Dropout (OD) を導入する。
• OD対応ネットワークを、プレーンODと知識蒸留付きOD（OD w/ KD）の2モードで訓練する。
• ODが線形写像においてSVDを回復することを示し、順序付き重要性表現を確立する。
• デバイスクラスタにp値を関連付け、異種クライアント間でWA（加重平均）ベースの集約を行うことで、FLにFjORDフレームワークを適用する。
• 最大サブモデルから小さなサブモデルへ知識を移すために、クロスエントロピーとKL発散を組み合わせた蒸留ベースの損失を用いる。
• CIFAR10、FEMNIST、Shakespeareに対してCNNとRNNで評価し、精度向上とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 Ordered Dropoutは、フェデレーテッド設定において再訓練なしで可変幅のサブモデルを可能にする、効果的な階層的表現を提供できるか。
• RQ2 状態最先端のベースラインと比較して、異種デバイス機能を備えたFLにおけるFjORDの性能はどうか。
• RQ3 FjORDにおける小さなサブモデルの性能を知識蒸留は改善するか。

主な発見

• FjORDはデータセット全体でベースラインを一貫して上回り、CIFAR10でeFDに対する精度向上が1.53〜34.87ポイント、FEMNISTで1.57〜6.27ポイント、Shakespeareでは gainが小さく0.01〜0.82ポイントとなる。
• FjORD+KDは、FjORD（KDなし）と比べて顕著な改善をもたらし、特に中〜大きなサブモデルで顕著（例：CIFAR10とFEMNIST）。
• ODフレームワークは、再訓練なしでFLOPsとサイズが異なる複数のサブモデルを抽出できる単一モデルの訓練を可能にし、推論時の動的適応をサポートする。
• ODは、線形写像においてSVDと一致する最良のb-ランク近似振る舞いを回復し、順序付き重要性構造の理論的基盤を提供する。
• FjORDは、より多くのデバイスクラスタ（uniform-5 対 uniform-10）へのスケーラビリティと、異なるデバイス分布（ds=0.5 対 ds=1.0）への適応性を示し、より小さなサブモデルの性能低下を大きく招くことなく実現する。