[論文レビュー] Optimality and Stability in Federated Learning: A Game-theoretic Approach

Kate Donahue, Jon Kleinberg|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 14

ひとこと要約

本稿は、最適性と安定性のバランスを図るために、協力的集合形成をヘドニックゲームとしてモデル化するゲーム理論的フレームワークを導入する。最適で誤差を最小化する集合の計算に効率的なアルゴリズムを提案し、価格の悪化（Price of Anarchy）が定数9であることを確立している。これは、最悪の安定解が最適な配置と比較して総誤差を最大9倍にまで悪化させることを示している。

ABSTRACT

Federated learning is a distributed learning paradigm where multiple agents, each only with access to local data, jointly learn a global model. There has recently been an explosion of research aiming not only to improve the accuracy rates of federated learning, but also provide certain guarantees around social good properties such as total error. One branch of this research has taken a game-theoretic approach, and in particular, prior work has viewed federated learning as a hedonic game, where error-minimizing players arrange themselves into federating coalitions. This past work proves the existence of stable coalition partitions, but leaves open a wide range of questions, including how far from optimal these stable solutions are. In this work, we motivate and define a notion of optimality given by the average error rates among federating agents (players). First, we provide and prove the correctness of an efficient algorithm to calculate an optimal (error minimizing) arrangement of players. Next, we analyze the relationship between the stability and optimality of an arrangement. First, we show that for some regions of parameter space, all stable arrangements are optimal (Price of Anarchy equal to 1). However, we show this is not true for all settings: there exist examples of stable arrangements with higher cost than optimal (Price of Anarchy greater than 1). Finally, we give the first constant-factor bound on the performance gap between stability and optimality, proving that the total error of the worst stable solution can be no higher than 9 times the total error of an optimal solution (Price of Anarchy bound of 9).

研究の動機と目的

• エージェントが個々の誤差と集団の誤差を最小化するために集合を形成するヘドニックゲームとしてフェデレーテッドラーニングを形式化すること。
• 全エージェントの平均誤差を最小化する最適な集合分割を定義し、計算すること。
• 安定性（離反ができない分割）と最適性（最小総誤差）のトレードオフを分析すること。
• 価格の悪化という指標を用いて、安定解と最適解の間の最悪ケース性能ギャップを定量化すること。
• 実用的なフェデレーテッドラーニング環境における理論的保証を確保するため、この性能ギャップに定数係数の上界を確立すること。

提案手法

• 各エージェントのコストが集合内での期待予測誤差に等しいフェデレーテッドラーニングをヘドニックゲームとしてモデル化する。
• 総誤差を最小化するグローバルに最適な集合分割を計算するための効率的アルゴリズムを提案する。
• 誤差関数の集合サイズに関する微分を分析し、単調性を特定し、上限を同定する。
• 微分係数の符号に基づくケース解析を用いて、すべての可能な集合サイズにおける誤差関数の上限を特定する。
• 代数的簡略化および不等式の境界付け技術を適用し、最悪の安定解が最適解の誤差の最大9倍に留まることを証明する。
• μₑ ≥ 3σ²N′ などのモデルパラメータに関する仮定を用いることで、導出された境界が現実のフェデレーテッドラーニング条件下でも成り立つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける総誤差を最小化する最適な集合分割を効率的に計算するアルゴリズムは存在するか？
• RQ2 すべての安定した集合分割が最適である条件は何か？ また、不安定性が劣悪な結果をもたらす状況はどのようなものか？
• RQ3 価格の悪化という指標で測定した場合、安定解の最悪ケース性能劣化はどの程度か？
• RQ4 フェデレーテッドラーニングのヘドニックゲームにおいて、価格の悪化に定数係数の上界を確立できるか？
• RQ5 エージェント間のデータサイズやモデル分散の違いは、安定性と最適性のトレードオフにどのように影響するか？

主な発見

• 全エージェントの平均誤差を最小化するグローバルに最適な集合分割を計算するための効率的アルゴリズムが提供された。
• 価格の悪化が最大9であることが証明され、最悪の安定した集合分割の総誤差は最適な分割の9倍以下であることが示された。
• 特定のパrameter領域では、すべての安定した分割が最適であるため、価格の悪化は正確に1である。
• 一般には、安定解が最適でない可能性があり、その性能ギャップは定数係数9で抑えられる。
• 誤差関数の挙動は微分の符号と集合サイズに依存し、ケース解析によりタイトな上限が得られることが示された。
• μₑ ≥ 3σ²N′ の仮定のもとで、境界がフェデレーテッドラーニングの関連する設定全体で有効であることが保証された。