[論文レビュー] Private Multi-Task Learning: Formulation and Applications to Federated Learning

Shengyuan Hu, Zhiwei Steven Wu+1 more|arXiv (Cornell University)|Aug 30, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用数 4

ひとこと要約

本稿では、ビルボードプライバシー（BP）を用いてクライアントレベルのプライバシーを実現する、Private Mean-Regularized Multi-Task Learning（PMTL）という新しいフレームワークを提案する。これにより、各クライアントのデータが機密保全されたまま、個別化されたモデルが自らのデータに依存できる。FEMNIST、CelebA、StackOverflowのベンチマークにおいて、グローバルベースラインと比較して、プライバシーと有用性のトレードオフをより良好に達成しており、強いプライバシー制約下でもプライベートなグローバルモデルやローカル学習を上回る性能を示す。

ABSTRACT

Many problems in machine learning rely on multi-task learning (MTL), in which the goal is to solve multiple related machine learning tasks simultaneously. MTL is particularly relevant for privacy-sensitive applications in areas such as healthcare, finance, and IoT computing, where sensitive data from multiple, varied sources are shared for the purpose of learning. In this work, we formalize notions of client-level privacy for MTL via joint differential privacy (JDP), a relaxation of differential privacy for mechanism design and distributed optimization. We then propose an algorithm for mean-regularized MTL, an objective commonly used for applications in personalized federated learning, subject to JDP. We analyze our objective and solver, providing certifiable guarantees on both privacy and utility. Empirically, we find that our method provides improved privacy/utility trade-offs relative to global baselines across common federated learning benchmarks.

研究の動機と目的

• 医療、金融、IoTなどのプライバシー感受性の高い分野におけるマルチタスクラーニング（MTL）における形式的プライバシー保証の欠如に対処すること。
• ビルボードプライバシー（BP）を用いてMTLにおけるクライアントレベルのプライバシーを形式化すること。BPは微分プライバシーの緩和版であり、タスク固有のモデルが自らのデータに依存することを許容する。
• 証明可能な$(\epsilon,\delta)$-ビルボードプライバシーを提供する、スケーラブルで通信効率の良い平均正則化MTLのソルバーを開発すること。
• 標準的なフェデレーテッドラーニングベンチマークにおいて、提案手法のプライバシー・ユーティリティトレードオフをグローバルベースラインおよびローカル学習と実験的に評価すること。
• プライベートなMTLが、MTLの精度利点を維持しつつ、単一のグローバルモデルを学習するのよりも強いプライバシーを提供できることを示すこと。

提案手法

• 平均正則化項を用いてグローバルモデルとクライアント固有のモデルを同時に最適化する、Private Mean-Regularized MTLというフレームワークを提案する。これにより、異なるタスク間の類似性が促進される。
• すべてのタスク（1つを除く）の出力モデルが、1人のクライアントのデータの変更に対して感度が低くなるように、ビルボードプライバシー（BP）を適用する。これによりクライアントレベルのプライバシーが保証される。
• 微分プライバシーの保証を備えた平均正則化MTL目的関数を処理できる、FedAvgに基づく通信効率の良いソルバーを採用する。
• 凸および非凸の目的関数に対して収束解析を導入し、クライアントの部分的参加が生じる状況にも拡張する。
• $(\epsilon,\delta)$-ビルボードプライバシーを満たすために、グローバルモデルの更新ステップでノイズを注入する。プライバシー予算はノイズスケールで制御される。
• 訓練後におけるファインチューニングによるモデルの個別化をサポートするが、BPフレームワーク下では追加のプライバシー費用がかからない。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクラーニングをクライアントレベルでプライベートに実現しつつ、モデルの有用性を維持できるか？
• RQ2 ビルボードプライバシーを平均正則化MTLに形式的に適用することで、クライアントのデータが保護されることをどのように保証できるか？
• RQ3 プライベートなMTLにおけるプライバシー（$\epsilon$で測定）と有用性（テスト精度で測定）のトレードオフは、プライベートなグローバルモデルと比較してどうなるか？
• RQ4 強いプライバシー制約下で、フェデレーテッドラーニングベンチマークにおいて、プライベートなMTLがローカル学習やプライベートなグローバルベースラインを上回るか？
• RQ5 提案手法は、パーソナライズドフェデレーテッドラーニングにおけるPP-SGDなどの既存手法よりも、より優れたプライバシー・ユーティリティトレードオフを達成できるか？

主な発見

• FEMNISTベンチマークでは、$\epsilon = 2.0$のもとでPMTLが0.681のテスト精度を達成し、プライベートなFedAvgおよびFedProxを顕著に上回った。
• CelebAでは、$\epsilon = 2.0$のもとでPMTLが0.818のテスト精度に達し、プライベートなグローバルモデルおよびローカル学習を上回った。
• StackOverflowでは、$\epsilon = 0.1$のもとでPMTLが0.324のテスト精度を達成し、プライベートなFedAvgおよびFedProx（0.31未満）を上回った。
• $\epsilon < 1$の範囲では、PP-SGDはPMTLよりも悪いプライバシー・ユーティリティトレードオフを示し、PMTLの優れたプライバシー効率を示している。
• 強いプライバシー（$\epsilon = 0.1$）下でも、ファインチューニングを施したPMTLは、非凸問題であるFEMNISTおよびCelebAにおいて、純粋なローカル学習を一貫して上回った。
• 収束解析により、部分的クライアント参加が生じる状況下でも、凸および非凸設定において、ソルバーが収束保証を維持することが確認された。