[논문 리뷰] Optimizing Privacy, Utility and Efficiency in Constrained Multi-Objective Federated Learning

Yan Kang, Hanlin Gu외 8명|arXiv (Cornell University)|2023. 04. 29.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 다중목표 최적화를 통해 기밀성, 유틸리티, 학습 효율성을 동시에 최적화하는 제약 조건이 있는 다중목표 분산학습(CMOFL) 프레임워크를 제안한다. NSGA-II와 PSL 기반으로 개선된 두 가지 알고리즘을 도입하여 이론적 수렴 보장을 제공하고, 세 가지 기밀성 메커니즘—랜덤화, BatchCrypt, 희소화—에서 실험적 검증을 수행하여 효과적인 파레토 최적 트레이드오프를 입증한다.

ABSTRACT

Conventionally, federated learning aims to optimize a single objective, typically the utility. However, for a federated learning system to be trustworthy, it needs to simultaneously satisfy multiple/many objectives, such as maximizing model performance, minimizing privacy leakage and training cost, and being robust to malicious attacks. Multi-Objective Optimization (MOO) aiming to optimize multiple conflicting objectives at the same time is quite suitable for solving the optimization problem of Trustworthy Federated Learning (TFL). In this paper, we unify MOO and TFL by formulating the problem of constrained multi-objective federated learning (CMOFL). Under this formulation, existing MOO algorithms can be adapted to TFL straightforwardly. Different from existing CMOFL works focusing on utility, efficiency, fairness, and robustness, we consider optimizing privacy leakage along with utility loss and training cost, the three primary objectives of a TFL system. We develop two improved CMOFL algorithms based on NSGA-II and PSL, respectively, for effectively and efficiently finding Pareto optimal solutions, and we provide theoretical analysis on their convergence. We design specific measurements of privacy leakage, utility loss, and training cost for three privacy protection mechanisms: Randomization, BatchCrypt (An efficient version of homomorphic encryption), and Sparsification. Empirical experiments conducted under each of the three protection mechanisms demonstrate the effectiveness of our proposed algorithms.

연구 동기 및 목표

• 분산학습 시스템에서 기밀성, 유틸리티, 효율성에 대한 통합 최적화 부족 문제를 해결한다.
• 신뢰할 수 있는 분산학습(TFL)에서 다중목표 최적화를 가능하게 하는 통합된 제약 조건이 있는 다중목표 분산학습(CMOFL) 프레임워크를 수립한다.
• 기존의 다중목표 최적화(MOO) 알고리즘(NSGA-II 및 PSL)을 기반으로 기밀성 泄露, 유틸리티 손실, 학습 비용의 공동 최적화를 처리하도록 확장한다.
• 제안된 알고리즘의 CMOFL 설정 하에서 이론적 수렴 분석을 제공한다.
• 랜덤화, BatchCrypt, 희소화의 세 가지 기밀성 보존 메커니즘을 대상으로 기밀성 泄露, 유틸리티 손실, 학습 비용 측정 지표를 설계하고 평가한다.

제안 방법

• 기밀성 泄露, 유틸리티 손실, 학습 비용을 세 가지 주요 목표로 하는 제약 조건이 있는 다중목표 최적화 문제로 CMOFL를 수립한다.
• TFL의 다중목표 성격을 고려해 NSGA-II와 PSL 알고리즘을 수정하여 제약 조건과 파레토 최적 해의 탐색을 통합한다.
• 스칼라화 기법을 사용해 목적 함수를 정의하며, 다중목표 베이지안 최적화를 위한 티체비شف 및 초체적량 기반 스칼라화를 포함한다.
• 기대적 위험과 최대 정보 양($\gamma_T$)을 활용해 수렴 분석을 위한 초체적량 위험 한계를 도입한다.
• 기밀성 泄露(예: 차별적 기밀성 기반), 유틸리티 손실(모델 정확도), 학습 비용(통신 및 계산) 측정 함수를 설계한다.
• 다양한 실험 설정에서 랜덤화, BatchCrypt(암호화된 동형 연산), 희소화의 세 가지 기밀성 메커니즘을 적용하여 알고리즘을 적용한다.

Figure 1. Formulating the problem of constrained multi-objective federated learning to unify the multi-objective optimization and trustworthy federated learning (see Sec. 4.2 for detail).

실험 결과

연구 질문

• RQ1 실제 제약 조건 하에서 분산학습에서 기밀성, 유틸리티, 효율성을 어떻게 공동 최적화할 수 있는가?
• RQ2 NSGA-II와 PSL 기반 CMOFL 알고리즘이 다중목표 분산학습에서 수렴성과 파레토 최적성을 얼마나 달성하는가?
• RQ3 다른 기밀성 메커니즘(랜덤화, BatchCrypt, 희소화)은 기밀성, 유틸리티, 학습 비용 간의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 파레토 최적 해는 실세계 응용에서 기밀 보호 강도의 중요한 경계를 드러내는가?
• RQ5 초체적량과 위험 기반 스칼라화 하에서 제안된 CMOFL 알고리즘의 이론적 수렴 행동은 어떠한가?

주요 결과

• 제안된 CMOFL 프레임워크는 신뢰할 수 있는 분산학습에서 다중목표 최적화를 성공적으로 통합하여 기밀성, 유틸리티, 효율성의 공동 최적화를 가능하게 한다.
• NSGA-II와 PSL 기반 CMOFL 알고리즘은 초체적량 위험에 대한 이론적 경계를 확보하며 수렴성을 입증하여 $\text{HV}_{z}(Y^{*}) - \text{HV}_{z}(Y_{T}) \leq O(m^{2}d^{1/2}[γ_{T}ln(T)/T]^{1/2})$ 를 보여준다.
• 실험 결과는 파레토 최적 해가 중요한 트레이드오프를 드러내며, 더 나은 유틸리티를 위해 차별적 기밀성 노이즈를 줄이면 기밀성 泄露가 급격히 증가함을 입증한다.
• BatchCrypt는 랜덤화보다 더 높은 유틸리티와 낮은 기밀성 泄露를 달성하지만 더 높은 학습 비용을 수반하며, 희소화는 균형 잡힌 트레이드오프를 제공한다.
• 파레토 최적 해는 기밀성 메커니즘에 대한 최적 설정을 식별할 수 있게 하여 실무에서 기밀 수준의 표준화를 안내한다.
• 알고리즘은 세 목표 모두에 걸쳐 트레이드오프 공간을 효과적으로 탐색하며, NSGA-II는 수렴성과 해의 다양성 측면에서 뛰어난 성능을 보였다.

Figure 2. The Constrained Multi-Objective Federated Learning Workflow. The left panel illustrates a typical federated learning training procedure. The right panel gives the general constrained multi-objective optimization procedure involving five sub-procedures: train surrogate models, generate solu