[논문 리뷰] Incentive Mechanism Design for Federated Learning: Hedonic Game Approach

Cengis Hasan|arXiv (Cornell University)|2021. 01. 24.

Auction Theory and Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 자율적인 이득을 추구하는 에이전트 간의 안정적인 협동 형성을 보장하기 위해 페더레이티드 러닝을 위한 허드로닉 게임 기반 인cent리브 메커니즘을 제안한다. 에이전트 클러스터링을 허드로닉 게임으로 모델링하고 나시 안정 집합을 도입함으로써, 저자들은 가산 분리 가능하고 대칭적인 수익 배분이 나시 안정 분할을 보장함을 증명하며, 이로 인해 발생하는 비협력 게임이 잠재 게임임을 보여주어 안정적인 탈중앙화된 클러스터링 해법으로의 수렴을 보장한다.

ABSTRACT

Incentive mechanism design is crucial for enabling federated learning. We deal with clustering problem of agents contributing to federated learning setting. Assuming agents behave selfishly, we model their interaction as a stable coalition partition problem using hedonic games where agents and clusters are the players and coalitions, respectively. We address the following question: is there a family of hedonic games ensuring a Nash-stable coalition partition? We propose the Nash-stable set which determines the family of hedonic games possessing at least one Nash-stable partition, and analyze the conditions of non-emptiness of the Nash-stable set. Besides, we deal with the decentralized clustering. We formulate the problem as a non-cooperative game and prove the existence of a potential game.

연구 동기 및 목표

• 자기 이득을 추구하는 에이전트들이 페더레이티드 러닝 환경에서 안정적인 협동을 형성하도록 유도하는 문제를 해결하기 위해.
• 에이전트의 선호가 오직 협동의 구성원들에 의해 결정되는 허드로닉 게임으로 에이전트 클러스터링을 모델링하기 위해.
• 페더레이티드 러닝 환경에서 나시 안정 협동 분할이 존재하는 조건을 규명하기 위해.
• 중앙 집중적 조율 없이도 안정적이고 확장 가능한 클러스터링을 보장하는 탈중앙화된 인센티브 메커니즘을 설계하기 위해.
• 탈중앙화된 클러스터링 공식화에서 잠재 게임의 존재를 증명하여 안정된 균형으로의 수렴을 보장하기 위해.

제안 방법

• 에이전트의 선호가 오직 협동의 구성원들에 의해 결정되는 허드로닉 협동 형성 게임으로 페더레이티드 러닝 클러스터링을 공식화한다.
• 나시 안정 집합을 나시 안정 분할을 최소한 하나 이상 포함하는 허드로닉 게임의 가족으로 도입한다.
• 가산 분리 가능하고 대칭적인 수익 배분 메커니즘이 나시 안정성을 보장함을 증명한다.
• 개별 전략 선택을 포함하는 비협력 게임으로 탈중앙화된 클러스터링 과정을 모델링한다.
• 전체 협동 수익을 기록하는 잠재 함수 $ P_{\mathbf{v}}(\bm{\sigma}) = \sum_{S\in\Pi(\bm{\sigma})} \sum_{(i,j)\in\mathcal{V}(S)} v(i,j) $ 를 정의하며, 이는 게임 수렴을 보장한다.
• 에이전트의 전략 개선이 잠재 함수의 증가와 대응함을 보여주어, 게임이 잠재 게임임을 확인한다.

실험 결과

연구 질문

• RQ1 자기 이득을 추구하는 에이전트가 포함된 페더레이티드 러닝 환경에서 나시 안정 협동 분할이 존재하는 조건은 무엇인가?
• RQ2 어떤 수익 배분 메커니즘이 허드로닉 게임에서 나시 안정 분할의 존재를 보장하는가?
• RQ3 페더레이티드 러닝에서 탈중앙화된 클러스터링을 잠재 게임으로 모델링할 수 있는가? 이를 통해 안정된 균형으로의 수렴을 보장할 수 있는가?
• RQ4 가산 분리 가능하고 대칭적인 수익 함수는 협동 형성에서 나시 안정성에 어떻게 기여하는가?
• RQ5 잠재 함수는 탈중앙화된 비협력 게임 공식화에서 안정성과 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 수익 배분이 가산 분리 가능하고 대칭적일 경우 나시 안정 집합은 비어 있지 않으며, 최소한 하나의 나시 안정 협동 분할이 존재함을 보장한다.
• 가산 분리 가능하고 대칭적인 수익 함수는 잠재 게임을 이끌어내며, 이는 나시 균형이 존재하고, 이 균형이 나시 안정 분할과 대응함을 보장한다.
• 잠재 함수 $ P_{\mathbf{v}}(\bm{\sigma}) $ 는 모든 협동의 총 가치를 기록하며, 에이전트의 단일 전략 개선이 잠재 함수의 증가를 유도함으로써 수렴을 보장한다.
• 탈중앙화된 클러스터링 게임은 잠재 게임이므로, 최적 반응 동역학이 나시 균형으로 수렴하며, 이는 안정된 협동 구조에 대응한다.
• 제안된 메커니즘은 어떤 에이전트도 협동을 변경함으로써 자신의 유익을 단독으로 향상시킬 수 없음을 보장하므로, 지정된 수익 배분 규칙 하에서 나시 안정성을 달성한다.
• 이론적 프레임워크는 안정적이고 확장 가능하며 프라이버시를 보존하는 페더레이티드 러닝 시스템을 설계하기 위한 인센티브 메커니즘의 기초를 제공한다.