[論文レビュー] Incentive Mechanism Design for Federated Learning: Hedonic Game Approach

Cengis Hasan|arXiv (Cornell University)|Jan 24, 2021

Auction Theory and Applications参考文献 20被引用数 4

ひとこと要約

本稿は、自己利益志向のエージェント間における安定なコалиション形成を保証するため、フェデレーテッドラーニングにヘドニックゲームベースのインcentiveメカニズムを提案する。エージェントのクラスタリングをヘドニックゲームとしてモデル化し、ネイシュ安定集合を導入することで、加法的可分かつ対称的な報酬配分がネイシュ安定分割を保証することを証明し、非協力的ゲームがポテンシャルゲームであることを示唆することで、安定な分散型クラスタリング解に収束することを保証する。

ABSTRACT

Incentive mechanism design is crucial for enabling federated learning. We deal with clustering problem of agents contributing to federated learning setting. Assuming agents behave selfishly, we model their interaction as a stable coalition partition problem using hedonic games where agents and clusters are the players and coalitions, respectively. We address the following question: is there a family of hedonic games ensuring a Nash-stable coalition partition? We propose the Nash-stable set which determines the family of hedonic games possessing at least one Nash-stable partition, and analyze the conditions of non-emptiness of the Nash-stable set. Besides, we deal with the decentralized clustering. We formulate the problem as a non-cooperative game and prove the existence of a potential game.

研究の動機と目的

• 自己利益志向のエージェントがフェデレーテッドラーニングにおいて安定なコアリションを形成するのを促す課題に対処すること。
• エージェントのクラスタリングを、好みがコアリションのメンバーにのみ依存するヘドニックゲームとしてモデル化すること。
• フェデレーテッドラーニングの文脈において、ネイシュ安定コアリション分割が存在する条件を同定すること。
• 中央集権的制御なしに安定的かつスケーラブルなクラスタリングを保証する分散型インcentiveメカニズムを設計すること。
• 分散型クラスタリング定式化においてポテンシャルゲームの存在を証明し、安定な均衡への収束を可能にすること。

提案手法

• エージェントの好みがコアリションのメンバーにのみ依存するヘドニックコアリション形成ゲームとしてフェデレーテッドラーニングのクラスタリングを形式化すること。
• 少なくとも1つのネイシュ安定分割を許容するヘドニックゲームの族としてネイシュ安定集合を導入すること。
• 加法的可分かつ対称的な報酬配分メカニズムがネイシュ安定性を保証することを証明すること。
• 個々の戦略選択を持つ非協力的ゲームとして分散型クラスタリングプロセスをモデル化すること。
• 全コアリションの報酬を捉えるポテンシャル関数 $ P_{\mathbf{v}}(\bm{\sigma}) = \sum_{S\in\Pi(\bm{\sigma})} \sum_{(i,j)\in\mathcal{V}(S)} v(i,j) $ を定義し、ゲームの収束を保証すること。
• エージェントの戦略改善がポテンシャル関数の増加に対応することを示し、ゲームがポテンシャルゲームであることを確認すること。

実験結果

リサーチクエスチョン

• RQ1 自己利益志向のエージェントを伴うフェデレーテッドラーニング環境において、ネイシュ安定コアリション分割が存在する条件は何か？
• RQ2 どの報酬配分メカニズムがヘドニックゲームにおけるネイシュ安定分割の存在を保証するか？
• RQ3 フェデレーテッドラーニングにおける分散型クラスタリングをポテンシャルゲームとしてモデル化できるか？ これにより、安定な均衡への収束を保証できるか？
• RQ4 加法的可分かつ対称的な報酬関数は、コアリション形成におけるネイシュ安定性にどのように寄与するか？
• RQ5 ポテンシャル関数は、分散型非協力的ゲーム定式化における安定性と収束を保証するために果たす役割は何か？

主な発見

• 報酬配分が加法的可分かつ対称である場合、ネイシュ安定集合は空でないため、少なくとも1つのネイシュ安定コアリション分割が存在することが保証される。
• 加法的可分かつ対称的な報酬関数はポテンシャルゲームを形成し、ネイシュ均衡が存在することを保証する。この均衡は、ネイシュ安定分割に対応する。
• ポテンシャル関数 $ P_{\mathbf{v}}(\bm{\sigma}) $ は、すべてのコアリションの合計価値を捉え、エージェントの単一の戦略改善がポテンシャルの増加をもたらすため、収束を保証する。
• 分散型クラスタリングゲームはポテンシャルゲームであるため、最適応答ダイナミクスがネイシュ均衡に収束し、これは安定なコアリション構造に対応する。
• 提案されたメカニズムにより、エージェントはコアリションを変更することで自身の報酬を一意に向上させることはできず、指定された報酬配分ルール下でネイシュ安定性が達成される。
• 理論的枠組みは、安定的でスケーラブルかつプライバシーを保護するフェデレーテッドラーニングシステムを設計するための基盤を提供する。