[논문 리뷰] Federated Multi-Task Learning for Competing Constraints.

Li Tian, Shengyuan Hu외 2명|arXiv (Cornell University)|2020. 12. 08.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 10

한 줄 요약

이 논문은 통계적으로 이질적인 네트워크에서 모델 정확도, 공정성, 그리고 적대적 공격에 대한 강건성을 동시에 최적화하는 피어드 다중작업 학습 프레임워크를 제안한다. 통합된 다중작업 목적함수를 정의하고 확장 가능한 해법기를 사용함으로써, 공정성과 강건성 사이의 우월한 트레이드오프를 달성하였으며, 다양한 피어드 데이터셋에서 최신 기준 기반 방법들을 능가한다.

ABSTRACT

In addition to accuracy, fairness and robustness are two critical concerns for federated learning systems. In this work, we first identify that robustness to adversarial training-time attacks and fairness, measured as the uniformity of performance across devices, are competing constraints in statistically heterogeneous networks. To address these constraints, we propose employing a simple, general multi-task learning objective, and analyze the ability of the objective to achieve a favorable tradeoff between fairness and robustness. We develop a scalable solver for the objective and show that multi-task learning can enable more accurate, robust, and fair models relative to state-of-the-art baselines across a suite of federated datasets.

연구 동기 및 목표

• 피어드 학습에서 기계적 상충 관계를 보이는 공정성(기기 간 성능 균일성)과 학습 시간 공격에 대한 강건성 사이의 균형을 해결하기 위해.
• 통계적으로 이질적인 피어드 네트워크에서 공정성과 강건성이 경쟁적인 제약 조건임을 규명하기 위해.
• 정확도를 희생시키지 않은 채 공정성과 강건성 사이의 유리한 트레이드오프를 가능하게 하는 일반적이고 확장 가능한 다중작업 학습 목적함수를 개발하기 위해.

제안 방법

• 모델 정확도, 공정성(기기 수준 성능의 균일성), 그리고 강건성(적대적 예제에 대한 저항성)을 동시에 최적화하는 다중작업 학습 목적함수를 정의한다.
• 제안된 다중작업 목적함수에 특화된 확장 가능한 최적화 해법기를 설계하여 탈중앙화된 이질적 환경에서의 효율적 학습을 가능하게 한다.
• 기기 간 성능 균일성을 공정성 지표로 사용하여 클라이언트 간 모델 성능의 분산을 최소화한다.
• 적대적 훈련 신호를 다중작업 목적함수에 통합하여 모델 업데이트 중 강건성을 향상시킨다.
• 피어드 학습의 구조를 활용하여 단일 글로벌 모델을 훈련하면서도 기기별 성능 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 통계적 이질성 하에서 피어드 학습에서 공정성과 강건성을 효과적으로 균형 잡는 데 통합된 다중작업 학습 목적함수가 유의미한가?
• RQ2 다양한 피어드 데이터셋에서 제안된 방법이 정확도, 공정성, 강건성 측면에서 최신 기준 기반 방법들과 비교해 어떻게 성능을 냈는가?
• RQ3 다중작업 목적함수가 정확도를 유지하거나 향상시키면서 기기 간 성능 분산을 어느 정도 감소시키는가?

주요 결과

• 제안된 다중작업 학습 프레임워크는 기존 방법보다 공정성과 강건성 사이의 트레이드오프를 더 유리하게 달성하여 기기 간 성능 분산을 감소시킨다.
• 모든 평가된 피어드 데이터셋에서 정확도를 유지하거나 향상시키면서도 적대적 공격에 대한 강건성을 향상시킨다.
• 확장 가능한 해법기가 탈중앙화 환경에서의 효율적 학습을 가능하게 하여 대규모 배포를 지원한다.
• 실험 결과, 정확도를 희생시키지 않고도 최신 기준 기반 방법들을 공정성 및 강건성 지표에서 능가하는 것으로 나타났다.