[論文レビュー] Optimizing Privacy, Utility and Efficiency in Constrained Multi-Objective Federated Learning

Yan Kang, Hanlin Gu+8 more|arXiv (Cornell University)|Apr 29, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、多目的最適化を用いてプライバシー、有用性、学習効率を統合的に最適化する制約付き多目的フェデレーテッドラーニング（CMOFL）フレームワークを提案する。NSGA-IIおよびPSLに基づく2つの改良アルゴリズムを導入し、理論的収束保証と3つのプライバシー保護メカニズム（ランダム化、BatchCrypt、スパース化）における実験的検証を実施。Pareto最適なトレードオフの有効性が示された。

ABSTRACT

Conventionally, federated learning aims to optimize a single objective, typically the utility. However, for a federated learning system to be trustworthy, it needs to simultaneously satisfy multiple/many objectives, such as maximizing model performance, minimizing privacy leakage and training cost, and being robust to malicious attacks. Multi-Objective Optimization (MOO) aiming to optimize multiple conflicting objectives at the same time is quite suitable for solving the optimization problem of Trustworthy Federated Learning (TFL). In this paper, we unify MOO and TFL by formulating the problem of constrained multi-objective federated learning (CMOFL). Under this formulation, existing MOO algorithms can be adapted to TFL straightforwardly. Different from existing CMOFL works focusing on utility, efficiency, fairness, and robustness, we consider optimizing privacy leakage along with utility loss and training cost, the three primary objectives of a TFL system. We develop two improved CMOFL algorithms based on NSGA-II and PSL, respectively, for effectively and efficiently finding Pareto optimal solutions, and we provide theoretical analysis on their convergence. We design specific measurements of privacy leakage, utility loss, and training cost for three privacy protection mechanisms: Randomization, BatchCrypt (An efficient version of homomorphic encryption), and Sparsification. Empirical experiments conducted under each of the three protection mechanisms demonstrate the effectiveness of our proposed algorithms.

研究の動機と目的

• フェデレーテッドラーニングシステムにおけるプライバシー、有用性、効率性の統合的最適化の欠如に対処する。
• 信頼性のあるフェデレーテッドラーニング（TFL）における多目的最適化を可能にする、統一された制約付き多目的フェデレーテッドラーニング（CMOFL）フレームワークを定式化する。
• 既存のMOOアルゴリズム（NSGA-IIおよびPSL）を拡張し、プライバシー漏洩、有用性損失、学習コストの共同最適化を可能にする。
• 提案されたアルゴリズムのCMOFL定式化における理論的収束解析を提供する。
• ランダム化、BatchCrypt、スパース化の3つのプライバシー保護メカニズムを対象に、プライバシー漏洩、有用性損失、学習コストの測定関数を設計・評価する。

提案手法

• プライバシー漏洩、有用性損失、学習コストという3つの主要な目的を有する制約付き多目的最適化問題としてCMOFLを定式化する。
• TFLの多目的性を扱えるようにNSGA-IIおよびPSLアルゴリズムを適応させ、制約とParetoフロント探索を統合する。
• スカラライゼーション技術（Tchebyshevおよびハイパーボリュームベースのスカラライゼーション）を用いて目的関数を定義し、多目的ベイズ最適化に応用する。
• 期待リグレットと最大情報ゲイン（$\gamma_T$）を活用して、収束を分析するためのハイパーボリュームレグレットバウンドを導入する。
• プライバシー漏洩（例：微分プライバシーを介して）、有用性損失（モデル精度）、学習コスト（通信および計算）の測定関数を設計する。
• 複数の実験設定において、3つのプライバシー保護メカニズム（ランダム化、BatchCrypt（同型暗号）、スパース化）に適用する。

Figure 1. Formulating the problem of constrained multi-objective federated learning to unify the multi-objective optimization and trustworthy federated learning (see Sec. 4.2 for detail).

実験結果

リサーチクエスチョン

• RQ1 実用的制約下で、フェデレーテッドラーニングにおけるプライバシー、有用性、効率性をどのように共同最適化できるか？
• RQ2 NSGA-IIおよびPSLに基づくCMOFLアルゴリズムは、多目的FLにおいてどの程度収束性とPareto最適性を達成するか？
• RQ3 異なるプライバシー保護メカニズム（ランダム化、BatchCrypt、スパース化）は、プライバシー、有用性、学習コストのトレードオフにどのように影響を与えるか？
• RQ4 Paretoフロントは、実世界の応用におけるプライバシー保護強度の重要な境界を明らかにできるか？
• RQ5 ハイパーボリュームおよびレグレットベースのスカラライゼーションの下で、提案されたCMOFLアルゴリズムの理論的収束挙動はいかなるものか？

主な発見

• 提案されたCMOFLフレームワークは、信頼性のあるフェデレーテッドラーニングにおける多目的最適化を統合的に実現し、プライバシー、有用性、効率性の共同最適化を可能にした。
• NSGA-IIおよびPSLベースのCMOFLアルゴリズムは、ハイパーボリュームレグレットに関する理論的バウンドを達成し、$\text{HV}_{z}(Y^{*}) - \text{HV}_{z}(Y_{T}) \leq O(m^{2}d^{1/2}[γ_{T}ln(T)/T]^{1/2})$ を示した。
• 実験的結果から、Paretoフロントが重要なトレードオフを明らかにした：微分プライバシーのノイズを低減して有用性を向上させると、プライバシー漏洩が急激に増加する。
• BatchCryptは、ランダム化よりも高い有用性と低いプライバシー漏洩を達成するが、学習コストが高くなる。一方、スパース化はバランスの取れたトレードオフを提供する。
• Paretoフロントは、プライバシー保護メカニズムの最適な設定を特定可能にし、実際の応用におけるプライバシー水準の標準化を支援する。
• アルゴリズムは3つの目的すべてのトレードオフ空間を効果的に探索し、NSGA-IIは収束性と解の多様性において優れた性能を示した。

Figure 2. The Constrained Multi-Objective Federated Learning Workflow. The left panel illustrates a typical federated learning training procedure. The right panel gives the general constrained multi-objective optimization procedure involving five sub-procedures: train surrogate models, generate solu