[논문 리뷰] Optimality and Stability in Federated Learning: A Game-theoretic Approach

Kate Donahue, Jon Kleinberg|arXiv (Cornell University)|2021. 06. 17.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 14

한 줄 요약

이 논문은 최적성과 안정성을 균형 잡는 것을 목표로 하여 에이전트 간 협력 형성을 허용하는 게임이론적 프레임워크를 제안한다. 이는 허용 가능한 오차를 최소화하는 협력 집단을 효율적으로 계산하는 알고리즘을 제안하며, 안정성과 최적성 간의 균형을 분석한다. 이론적으로 안정된 해가 최적 해보다 최대 9배 이상 오차가 증가할 수 있음을 보여주는 상수 요인의 Price of Anarchy 상한선을 도출한다.

ABSTRACT

Federated learning is a distributed learning paradigm where multiple agents, each only with access to local data, jointly learn a global model. There has recently been an explosion of research aiming not only to improve the accuracy rates of federated learning, but also provide certain guarantees around social good properties such as total error. One branch of this research has taken a game-theoretic approach, and in particular, prior work has viewed federated learning as a hedonic game, where error-minimizing players arrange themselves into federating coalitions. This past work proves the existence of stable coalition partitions, but leaves open a wide range of questions, including how far from optimal these stable solutions are. In this work, we motivate and define a notion of optimality given by the average error rates among federating agents (players). First, we provide and prove the correctness of an efficient algorithm to calculate an optimal (error minimizing) arrangement of players. Next, we analyze the relationship between the stability and optimality of an arrangement. First, we show that for some regions of parameter space, all stable arrangements are optimal (Price of Anarchy equal to 1). However, we show this is not true for all settings: there exist examples of stable arrangements with higher cost than optimal (Price of Anarchy greater than 1). Finally, we give the first constant-factor bound on the performance gap between stability and optimality, proving that the total error of the worst stable solution can be no higher than 9 times the total error of an optimal solution (Price of Anarchy bound of 9).

연구 동기 및 목표

• 에이전트들이 개별 및 집단 오차를 최소화하기 위해 협력하는 방식으로 분산 학습을 허용하는 허용 게임으로 공식화한다.
• 모든 에이전트의 평균 오차를 최소화하는 최적의 협력 집단 분할을 정의하고 계산한다.
• 안정성(편향되지 않은 분할)과 최적성(최소 총 오차) 간의 상호 갈등을 분석한다.
• Price of Anarchy 측도를 사용하여 안정된 해와 최적 해 사이의 최악의 성능 격차를 정량화한다.
• 실제 분산 학습 환경에서 이론적 보장을 확보하기 위해 이 성능 격차에 대한 상수 요인 상한선을 확립한다.

제안 방법

• 각 에이전트의 비용이 협력 내에서의 예측 오차 기대값과 일치하는 허용 게임으로 분산 학습을 모델링한다.
• 총 오차를 최소화하는 전역 최적의 협력 집단 분할을 계산하기 위한 효율적인 알고리즘을 제안한다.
• 협력 집단 크기 변화에 따른 오차 함수의 도함수를 분석하여 단조성과 상한선을 식별한다.
• 도함수 계수의 부호에 기반한 케이스 분석을 통해 모든 가능한 협력 집단 크기에 대해 오차 함수의 상한선을 설정한다.
• 대수적 간소화 및 부등식 상한선 기법을 적용하여, 최악의 안정된 해가 최적 해의 오차의 최대 9배 이내로 증가함을 증명한다.
• μₑ ≥ 3σ²N′ 등의 모델 파라미터에 대한 가정을 도입하여, 유의미한 분산 학습 조건 하에서 유도된 상한선이 유효함을 보장한다.

실험 결과

연구 질문

• RQ1 분산 학습에서 총 오차를 최소화하는 최적의 협력 집단 분할을 효율적으로 계산할 수 있는 알고리즘이 존재하는가?
• RQ2 모든 안정된 협력 집단 분할이 최적일 수 있는 조건은 무엇이며, 불안정성이 하위 최적 결과를 초래할 수 있는 경우는 언제인가?
• RQ3 Price of Anarchy 측도로 측정했을 때, 안정된 해의 최악의 성능 저하 정도는 어느 정도인가?
• RQ4 분산 학습의 허용 게임에서 Price of Anarchy에 대해 상수 요인 상한선을 설정할 수 있는가?
• RQ5 에이전트 간 데이터 크기 및 모델 분산의 차이가 안정성-최적성 간 상호 갈등에 미치는 영향은 무엇인가?

주요 결과

• 모든 에이전트의 평균 오차를 최소화하는 전역 최적의 협력 집단 분할을 계산하는 효율적인 알고리즘이 제시된다.
• Price of Anarchy가 최대 9임을 증명하였으며, 이는 최악의 안정된 협력 집단 분할이 최적 분할의 총 오차의 최대 9배 이내로 증가함을 의미한다.
• 일부 파rameter 영역에서는 모든 안정된 분할이 최적임을 보여주며, 이 경우 Price of Anarchy는 정확히 1이 된다.
• 일반적으로 안정된 해는 최적이 아닐 수 있으나, 이 성능 격차는 상수 요인 9로 제한된다.
• 오차 함수의 행동은 도함수의 부호와 협력 집단 크기에 따라 달라지며, 이는 케이스 분석을 통해 엄밀한 상한선 도출이 가능함을 보여준다.
• μₑ ≥ 3σ²N′이라는 가정 하에 유도된 부등식이 관련된 분산 학습 환경 전반에서 유효함이 보장된다.