[論文レビュー] Variational Federated Multi-Task Learning

Luca Corinzia, Joachim M. Buhmann+1 more|arXiv (Cornell University)|Jun 14, 2019

Privacy-Preserving Technologies in Data参考文献 66被引用数 121

ひとこと要約

VIRTUAL は、非凸モデル向けの連合学習を、星型ベイズネットワークと変分推論を用いて導入し、FedAvg/FedProx よりも性能向上と更新のスパース化を実現する。

ABSTRACT

In federated learning, a central server coordinates the training of a single model on a massively distributed network of devices. This setting can be naturally extended to a multi-task learning framework, to handle real-world federated datasets that typically show strong statistical heterogeneity among devices. Despite federated multi-task learning being shown to be an effective paradigm for real-world datasets, it has been applied only on convex models. In this work, we introduce VIRTUAL, an algorithm for federated multi-task learning for general non-convex models. In VIRTUAL the federated network of the server and the clients is treated as a star-shaped Bayesian network, and learning is performed on the network using approximated variational inference. We show that this method is effective on real-world federated datasets, outperforming the current state-of-the-art for federated learning, and concurrently allowing sparser gradient updates.

研究の動機と目的

• 強く非IIDなクライアントデータを伴う連合学習MTLの課題に対処する。
• 分散ネットワークに適した非凸の連合MTLアルゴリズムを開発する。
• ベイズネットワークと変分推論/推論技術を活用して、プライバシーを保ちながら知識を共有する。
• 通信コストを削減するためにスパースな勾配更新を可能にする。

提案手法

• サーバとクライアントを、共有パラメータとプライベートパラメータを持つ星型ベイズネットワークとしてモデル化する。
• サーバとクライアントのパラメータの事後分布を近似するために、EPに類似した変分推論スキームを使用する。
• 計算可能な更新を促進するために、サーバとクライアントパラメータのガウス平均場後方分布を採用する。
• クライアントの更新を、それぞれの後方因子のデルタとして計算し、サーバでそれらを集約する。
• 個々のクライアント因子ではなく、集約されたサーバ後方分布とクライアントデルタの積だけを共有することでプライバシーを保持する。
• KLダイバージェンス加重の自由エネルギー項を許可し、サーバとクライアント間の再構成と正則化のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 連合設定において、連合マルチタスク学習を一般的な非凸モデルに効果的に拡張できるか？
• RQ2 星型のサーバ–クライアントベイズネットワークに変分推論をどのように適用して、非IIDデータを扱いながら知識転移を可能にするか？
• RQ3 VIRTUAL は、実世界の連合データセットで、スパースな更新を可能にしつつ、既存のFLベースライン（FedAvg、FedProx）を上回るか？
• RQ4 KLダイバージェンス加重が学習性能と更新のスパース性に与える影響は何か？

主な発見

• VIRTUAL は、複数のアーキテクチャにまたがる実世界データセットで、最先端の連合学習ベースラインを上回る。
• このフレームワークは、精度を維持または向上させつつ、クライアント更新をよりスパースに可能にする。
• クライアントモデルは自データに対してプライベートかつ専門化されたまま、共有サーバ知識の恩恵を受けることができる。
• KLダイバージェンス正則化乗数betaを用いることで、性能とスパース性を調整できる。
• この方法は、非IIDデータや従来のFLの課題を、中央集権的データアクセスを要することなくサポートする。