[論文レビュー] The Blessing of Heterogeneity in Federated Q-Learning: Linear Speedup and Beyond

Jiin Woo, Gauri Joshi+1 more|arXiv (Cornell University)|May 18, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、重要度平均化を用いた新しいフェデレーテッドQ学習アルゴリズムを提案し、極めて非均質な局所的行動方策に対しても、サンプル複雑性においてロバストな線形スケーリングを達成する。局所的Q推定値を状態行動ペアの訪問頻度に応じて重み付けすることで、エージェント間での均一なカバレッジを必要とせず、『非均質性の利点』を明らかにし、非同期的・分散型強化学習設定における効率的な協調学習を可能にする。

ABSTRACT

When the data used for reinforcement learning (RL) are collected by multiple agents in a distributed manner, federated versions of RL algorithms allow collaborative learning without the need for agents to share their local data. In this paper, we consider federated Q-learning, which aims to learn an optimal Q-function by periodically aggregating local Q-estimates trained on local data alone. Focusing on infinite-horizon tabular Markov decision processes, we provide sample complexity guarantees for both the synchronous and asynchronous variants of federated Q-learning. In both cases, our bounds exhibit a linear speedup with respect to the number of agents and near-optimal dependencies on other salient problem parameters. In the asynchronous setting, existing analyses of federated Q-learning, which adopt an equally weighted averaging of local Q-estimates, require that every agent covers the entire state-action space. In contrast, our improved sample complexity scales inverse proportionally to the minimum entry of the average stationary state-action occupancy distribution of all agents, thus only requiring the agents to collectively cover the entire state-action space, unveiling the blessing of heterogeneity in enabling collaborative learning by relaxing the coverage requirement of the single-agent case. However, its sample complexity still suffers when the local trajectories are highly heterogeneous. In response, we propose a novel federated Q-learning algorithm with importance averaging, giving larger weights to more frequently visited state-action pairs, which achieves a robust linear speedup as if all trajectories are centrally processed, regardless of the heterogeneity of local behavior policies.

研究の動機と目的

• すべてのエージェントが状態行動空間を均一にカバーする必要があるという、従来のフェデレーテッドQ学習手法の制限を解消すること。
• 非均質なデータ分布下での同期的および非同期的フェデレーテッドQ学習におけるサンプル複雑性を分析すること。
• 局所的行動方策の非均質性にかかわらず、線形スケーリングを維持するロバストなアルゴリズムを開発すること。
• 『非均質性の利点』—エージェントのデータの多様性が学習効率を向上させることを明らかにすること。

提案手法

• K個のエージェント間で局所的Q推定値を周期的に平均化するフェデレーテッドQ学習フレームワークを提案し、中央サーバーが更新を集約する。
• 重要度平均化を導入し、局所的Q推定値をエージェント間での状態行動ペアの訪問頻度に応じて重み付けする。
• 平均定常状態行動占有分布の最小エントリに逆比例するサンプル複雑性の境界を導出する。
• 集中不等式とマルティングルの議論を用いて、同期的および非同期的設定における理論的保証を確立する。
• 価値関数の差と遷移ダイナミクスを含む誤差項の新しい分解を用いて収束を制限する。
• 初期収束と誤差の減衰の2段階の解析を採用し、幾何級数と指数的減衰の境界を活用する。

実験結果

リサーチクエスチョン

• RQ1 エージェントが非均質なデータ分布を持つ場合、フェデレーテッドQ学習はサンプル複雑性において線形スケーリングを達成できるか？
• RQ2 従来の手法が状態行動空間の完全カバレッジを要件としている場合、スケーラビリティに制限があるのか？この要件を緩和できるか？
• RQ3 重要度平均化は、非同期フェデレーテッドQ学習における局所的行動方策の非均質性に対して、ロバスト性を向上させられるか？
• RQ4 非均質なエージェントと非同期的サンプリング下でのフェデレーテッドQ学習の理論的サンプル複雑性は何か？
• RQ5 『非均質性の利点』は、全体のサンプル複雑性を低減する形でどのように現れるか？

主な発見

• 提案手法である重要度平均化は、局所的行動方策の非均質性にかかわらず、すべての軌道が中央で処理されたかのように、サンプル複雑性において線形スケーリングを達成する。
• サンプル複雑性は、平均定常状態行動占有分布の最小エントリに逆比例する。これにより、各エージェントが全状態行動空間をカバーする必要がなくなる。
• 非同期設定では、問題パラメータに依存するが、最小の対数要因を除いて最適なサンプル複雑性に近い性能を達成する。
• 理論的解析により、誤差は反復回数に従い指数的に減少し、その境界はエージェント間の平均訪問頻度に依存することが示された。
• 等価平均化ベースラインに比べ、局所的行動方策の非均質性が顕著な状況で、本手法は線形スケーリングを維持する。
• 実験結果により、局所的軌道がエージェント間で著しく非一様であっても、重要度平均化が線形スケーリングを維持することが確認された。