[論文レビュー] Hybrid Federated Learning: Algorithms and Implementation

Xinwei Zhang, Wotao Yin+2 more|arXiv (Cornell University)|Dec 22, 2020

Privacy-Preserving Technologies in Data参考文献 16被引用数 9

ひとこと要約

本稿は、クライアントが部分的なデータサンプルおよび部分的な特徴を持つハイブリッドフェデレーテッドラーニング（HFL）の最初の形式的モデルおよびアルゴリズムを提案する。HyFEM-AvgおよびHyFEM-Proxを導入し、プロキシ正則化を用いた交互最適化により、グローバルモデルとローカルモデルを共同で学習する。高いデータ非同一性および欠損データ下でも強力な性能を発揮し、過学習が抑えられるため、一部のケースでは集中型ベースラインを上回る。

ABSTRACT

Federated learning (FL) is a recently proposed distributed machine learning paradigm dealing with distributed and private data sets. Based on the data partition pattern, FL is often categorized into horizontal, vertical, and hybrid settings. Despite the fact that many works have been developed for the first two approaches, the hybrid FL setting (which deals with partially overlapped feature space and sample space) remains less explored, though this setting is extremely important in practice. In this paper, we first set up a new model-matching-based problem formulation for hybrid FL, then propose an efficient algorithm that can collaboratively train the global and local models to deal with full and partial featured data. We conduct numerical experiments on the multi-view ModelNet40 data set to validate the performance of the proposed algorithm. To the best of our knowledge, this is the first formulation and algorithm developed for the hybrid FL.

研究の動機と目的

• クライアントが重複するが完全でないデータサンプルおよび特徴を有するハイブリッドフェデレーテッドラーニングのための形式的フレームワークの欠如に応えること。
• データの局所性を維持し、サーバーが生のデータ（ラベルを含む）にアクセスしないアルゴリズムを設計すること。
• サンプルや特徴の同期を必要とせずに、クライアント間での有効な知識移転を可能にすること。
• 非同一なデータおよび部分的な特徴の可用性下でも、グローバルおよびローカルモデルを共同で学習する収束性のある最適化手法を開発すること。

提案手法

• 各クライアントが部分的なデータおよび特徴上でローカルモデルを学習する、モデルマッチングに基づく最適化定式化を提案する。
• ローカルモデルの更新とグローバルモデルパラメータの平均化による集約を実行する、交互最小化アルゴリズムであるHyFEM-Avgを導入する。
• グローバルモデル更新にプロキシ項を追加することで収束性を向上させるとともに、グローバルおよびローカル性能のバランスを改善する、HyFEM-Proxの変種を開発する。
• 2段階のトレーニングプロセスを採用：まずクライントが部分データ上でモデルを最適化し、その後サーバーがグローバルモデルを集約・更新する。
• HyFEM-Proxにおいて、トレーニングの安定化と一般化性能の向上を目的として、プロキシ正則化項を採用する。
• ModelNet40における実験では、特徴抽出にResNet-34、ローカル推論に単層MLPを適用する。

実験結果

リサーチクエスチョン

• RQ1 完全なデータや特徴の可用性がなくても、部分的なデータサンプルおよび部分的な特徴を持つクライアントを扱えるフェデレーテッドラーニングフレームワークをどのように設計できるか？
• RQ2 データプライバシーを保ちつつ通信を最小限に抑える中で、ハイブリッドFL設定下でクライアント間の有効な知識移転を可能にする最適化アルゴリズムは何か？
• RQ3 データ非同一性および欠損特徴の度合いが変化する状況下で、グローバルモデルとローカルモデルの性能のバランスはどのように変化するか？
• RQ4 欠損データおよび部分的な特徴の可用性があるにもかかわらず、ハイブリッドFLアルゴリズムが集中型トレーニングと同等の性能を達成できるか？
• RQ5 プロキシ正則化パラメータが、グローバルモデルとローカルモデルの精度のトレードオフに与える影響は何か？

主な発見

• 4クライアント・4ビューの実験では、HyFEM-AvgおよびHyFEM-Proxが集中型トレーニングを上回る高いテスト精度を達成した。これは、データ非同一性に起因する過学習の低減によるものと推定される。
• 高スパarsityおよび高非同一性を示す8クライアント・12ビューの実験では、HyFEMモデルで依然として妥当な性能が得られたが、集中型ベースラインには及ばなかった。
• プロキシパラメータμは明確なトレードオフ効果を示した：μを低く（0.1）するとローカル精度が向上するがグローバル精度が低下し、逆にμを高く（0.5）するとグローバル精度が向上するがローカル性能が低下した。
• HyFEM-AvgはHyFEM-Proxに比べてメモリ使用量が少なく、勾配推定も容易であったため、リソース制約のあるクライアントにとって通信効率が高く、実用的であった。
• 提案されたHyFEMアルゴリズムは、データの局所性を効果的に維持し、サーバーがクライントのいかなるデータ（ラベルを含む）にもアクセスする必要がなかった。
• モデルマッチング定式化により、グローバルおよびローカルモデルの共同学習が可能となり、どのクライアントにも完全なデータがないハイブリッドFL設定を効果的に処理できた。