[論文レビュー] Federated Unsupervised Representation Learning

Fengda Zhang, Kun Kuang+7 more|arXiv (Cornell University)|Oct 18, 2020

Privacy-Preserving Technologies in Data被引用数 38

ひとこと要約

FedCA は、表現の辞書と alignment メカニズムを協調させることにより、分散クライアント間で共有の教師なし表現を学習し、フェデレーテッド学習における non-IID データと表現のずれに対処します。

ABSTRACT

To leverage enormous unlabeled data on distributed edge devices, we formulate a new problem in federated learning called Federated Unsupervised Representation Learning (FURL) to learn a common representation model without supervision while preserving data privacy. FURL poses two new challenges: (1) data distribution shift (Non-IID distribution) among clients would make local models focus on different categories, leading to the inconsistency of representation spaces. (2) without the unified information among clients in FURL, the representations across clients would be misaligned. To address these challenges, we propose Federated Constrastive Averaging with dictionary and alignment (FedCA) algorithm. FedCA is composed of two key modules: (1) dictionary module to aggregate the representations of samples from each client and share with all clients for consistency of representation space and (2) alignment module to align the representation of each client on a base model trained on a public data. We adopt the contrastive loss for local model training. Through extensive experiments with three evaluation protocols in IID and Non-IID settings, we demonstrate that FedCA outperforms all baselines with significant margins.

研究の動機と目的

• クライアントのプライバシーを保護しつつ、分散されたラベルなしデータから共通の教師なし表現モデルを学習する動機付け。
• 2 つの主要な FURL の課題を特定し対処する：非 IID データが原因で表現空間が不一致になることと、クライアント間の整合性が取れないこと。
• 表現を安定化・整合させるため、辞書モジュールと整合モジュールを組み合わせた FedCA フレームワークを提案する。

提案手法

• サーバーが維持する辞書モジュールを用いて、クライアント間で表現（ネガティブサンプル）を集約・共有し、一貫したコントラスト学習を実現する。
• 公開データセット上でベースモデルを訓練し、ローカルモデルが整合モデルの出力を模倣するよう正則化する整合モジュールを使用する。
• 拡張データを用いて各クライアント上で局所的にコントラスト学習を適用し、辞書ベースのネガティブと整合正則化を統合する。
• 辞書を安定化させるため、時系列アンサンブルを用いて進化するアンサンブル投影を維持し、より頑健なネガティブを得る。
• コントラスト損失と整合損失を組み合わせ、重み beta で制御して、局所エンコーダと射影ヘッドを訓練する。
• FedAvg に類似したプロトコルに従い、クライアント局所更新とサーバー集約グローバルモデル更新を反復的に実施する。

実験結果

リサーチクエスチョン

• RQ1 プライバシー保証を伴う教師なし表現学習へ、フェデレーテッドラーニングをどのように拡張できるか？
• RQ2 ラベルなしで、異種の（non-IID）クライアントデータ間で共有表現空間を達成できるか？
• RQ3 辞書ベースの表現とクライアント間整合が、素朴なフェデレーテッド学習アプローチよりもフェデレーテッド無监督学習を改善するか？
• RQ4 時系列アンサンブリングと整合正則化が、クライアント間の表現の一貫性に与える影響は何か？

主な発見

• FedCA は、IID および Non-IID の設定を問わず、フェデレーテッド学習と教師なしアプローチを単純に組み合わせたベースラインを上回る。
• 辞書モジュールは、共有ネガティブサンプルを提供することで表現空間の一貫性を向上させる。
• 整合モジュールは、ローカルモデル間の表現のずれを低減し、それらの出力を公開データで訓練されたベースモデルに近づける。
• 時系列アンサンブリングは、ラウンドを重ねて表現を安定化させることで、Non-IID 設定における辞書の有効性を高める。
• 辞書モジュールと整合モジュールの双方を備えた FedCA の組み合わせは、特に厳しい Non-IID 条件下で最も優れた性能を示す。