[論文レビュー] A Theoretical Perspective on Differentially Private Federated Multi-task Learning

Huiwen Wu, Cen Chen+1 more|arXiv (Cornell University)|Nov 14, 2020

Privacy-Preserving Technologies in Data参考文献 38被引用数 15

ひとこと要約

本稿では、転移可能特徴学習のための共有低層と、パーソナライゼーションのためのタスク固有の上層を備えた、微分プライバシー付きフェデレーテッドマルチタスク学習フレームワークであるDPFedMTLを提案する。本研究は、ガウス型DPを用いたプライバシー保証と、非凸・凸・強く凸な設定における収束保証という、初めての理論的保証を提供し、CelebAおよびFEMNISTデータセットにおいて、強固なユーティリティ-プライバシーのトレードオフを示している。

ABSTRACT

In the era of big data, the need to expand the amount of data through data sharing to improve model performance has become increasingly compelling. As a result, effective collaborative learning models need to be developed with respect to both privacy and utility concerns. In this work, we propose a new federated multi-task learning method for effective parameter transfer with differential privacy to protect gradients at the client level. Specifically, the lower layers of the networks are shared across all clients to capture transferable feature representation, while top layers of the network are task-specific for on-client personalization. Our proposed algorithm naturally resolves the statistical heterogeneity problem in federated networks. We are, to the best of knowledge, the first to provide both privacy and utility guarantees for such a proposed federated algorithm. The convergences are proved for the cases with Lipschitz smooth objective functions under the non-convex, convex, and strongly convex settings. Empirical experiment results on different datasets have been conducted to demonstrate the effectiveness of the proposed algorithm and verify the implications of the theoretical findings.

研究の動機と目的

• クライアント間での有効なパラメータ転送を可能にするために、フェデレーテッド学習におけるデータの非IID性に起因する課題に対処すること。
• フェデレーテッド学習中のクライアントレベルの勾配情報の漏洩を防ぐためのプライバシー保護を実現すること。
• 非凸・凸・強く凸な設定下での理論的収束保証を提供すること。
• フェデレーテッドマルチタスク学習における、微分プライバシーによるプライバシーとモデルのユーティリティのトレードオフをバランスすること。
• 一般化性能とプライバシーの両方を向上させるために、ハードパラメータ共有と微分プライバシーを統合した包括的フレームワークを開発すること。

提案手法

• すべてのクライアントで共有されるエンコーダ（低層）を用いて転移可能特徴を学習し、パーソナライゼーションのためのタスク固有のヘッド（上層）を別々に保持する。
• クライアントレベルで勾配にガウスノイズを追加することで、微分プライバシーを適用する。
• プライバシー解析にはガウス型微分プライバシー（GDP）と中心極限定理（CLT）を用い、学習ステップにわたる合成を分析する。
• 非凸・凸・強く凸な設定下で、Lipschitz滑らか関数に対する部分空間分解を用いて収束を証明する。
• フェデレーテッド平均化（FedAvg）に微分プライバシーを組み合わせ、クライアント間で共有パラメータのみを平均化する。
• プライバシー会計には、CLTを用いたモーメント会計の近似を用い、従来の$(\epsilon,\delta)$-DPに比べてよりタイトな境界を提供する。

実験結果

リサーチクエスチョン

• RQ1 共有層とタスク固有層を備えたフェデレーテッドマルチタスク学習フレームワークは、非IIDデータにおける統計的非同一性を効果的に扱えるか？
• RQ2 クライアントレベルの勾配に微分プライバシーを適用することで、高いモデルユーティリティを維持しながら、強力なプライバシー保証を得られるか？
• RQ3 非凸・凸・強く凸な目的関数下での、提案アルゴリズムの理論的収束挙動はいかなるものか？
• RQ4 ノイズレベル$\sigma$は、提案フレームワークにおけるプライバシーとユーティリティのトレードオフにどのように影響するか？
• RQ5 ノイズレベルの増加に伴って、標準的なDP-FedAvgに比べ、提案手法が精度とプライバシーのロバストネスの両面で優れているか？

主な発見

• CelebAでは$\sigma = 0.65$の条件下で90.25%の精度を達成し、強いプライバシー制約下でも高いユーティリティを維持している。
• FEMNISTでは$\sigma = 9.69$の条件下で76.79%の精度を維持しており、高ノイズレベルに対してもロバストであることが示された。
• ノイズ増加に伴うユーティリティの低下を考慮すると、DPFedAvgはFEMNISTにおいて$\sigma = 9.69$で0.79%の精度にまで低下するが、DPFedMTLは著しく優れている。
• DPFedMTLの収束は、FedAvgやDPFedAvgよりも速く、ローカル学習に近い速度に近づくため、効率的な最適化が可能である。
• CLTに基づくGDP会計によるプライバシー解析では、CelebAでは$\sigma = 0.65$で強いプライバシー保証が得られ、FEMNISTでは同等の保護を得るには$\sigma = 9.69$が必要であることが示された。
• 非凸・凸・強く凸な設定下で、Lipschitz滑らか関数に対する理論的収束が確立され、本フレームワークにおいて初めての結果である。