[論文レビュー] Federated Temporal Difference Learning with Linear Function Approximation under Environmental Heterogeneity

Han Wang, Aritra Mitra+3 more|arXiv (Cornell University)|Feb 4, 2023

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、環境の非同一性下で、非同一なMDPと相互作用するエージェントを想定した線形関数近似を用いたフェデレーテッド時系列差分学習アルゴリズム、FedTD(0)を提案する。低非同一性領域において、エージェント数に比例する線形収束速度向上を示す最初の有限時間解析を確立し、TD固定点の摂動バウンドと仮想MDPを用いてフェデレーテッド最適化に接続する。

ABSTRACT

We initiate the study of federated reinforcement learning under environmental heterogeneity by considering a policy evaluation problem. Our setup involves $N$ agents interacting with environments that share the same state and action space but differ in their reward functions and state transition kernels. Assuming agents can communicate via a central server, we ask: Does exchanging information expedite the process of evaluating a common policy? To answer this question, we provide the first comprehensive finite-time analysis of a federated temporal difference (TD) learning algorithm with linear function approximation, while accounting for Markovian sampling, heterogeneity in the agents' environments, and multiple local updates to save communication. Our analysis crucially relies on several novel ingredients: (i) deriving perturbation bounds on TD fixed points as a function of the heterogeneity in the agents' underlying Markov decision processes (MDPs); (ii) introducing a virtual MDP to closely approximate the dynamics of the federated TD algorithm; and (iii) using the virtual MDP to make explicit connections to federated optimization. Putting these pieces together, we rigorously prove that in a low-heterogeneity regime, exchanging model estimates leads to linear convergence speedups in the number of agents.

研究の動機と目的

• エージェントが同じ状態空間と行動空間を持つが、報酬関数と遷移カーネルが異なる非同一なMDPと相互作用する環境非同一性下でのフェデレーテッド強化学習を研究すること。
• 中央サーバーを通じたモデル交換が、このような非同一設定下で方策評価を加速するかを解明すること。
• マルコフ連鎖サンプリング、局所的アップデート、環境非同一性を考慮したFedTD(0)の有限時間収束解析を提供すること。
• 新しい摂動バウンドと仮想MDPの抽象化を通じて、収束速度向上の理論的保証を確立すること。

提案手法

• 遷移カーネルと報酬関数のMDP非同一性を関数として、TD(0)固定点の摂動バウンドを導出する。
• フェデレーテッドTD(0)アルゴリズムのダイナミクスを近似し、フェデレーテッド最適化フレームワークに接続するための仮想MDPを導入する。
• 局所的モデルアップデートを定期的に集約する中央サーバーを用い、通信効率を高めつつデータプライバシーを維持する。
• 価値関数推定に線形関数近似を採用し、マルコフ連鎖サンプリングと複数の局所的アップデート下での収束を分析する。
• 減衰するステップサイズを用いた確率的近似技術を適用し、誤差項を集中不等式を用いて分析する。
• 誤差を近似誤差、最適化誤差、サンプリング誤差に分解し、エージェント数と非同一性に明示的な依存関係を持つ最終誤差バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 非同一なMDPを持つエージェント間でモデル推定を交換することは、独立学習と比較して方策評価の収束を速めるか？
• RQ2 環境非同一性—異なる遷移カーネルと報酬関数—は、フェデレーテッド設定下でのTD(0)の固定点にどのように影響するか？
• RQ3 複数の局所的アップデートを伴うフェデレーテッドTD(0)アルゴリズムは、低非同一性下でエージェント数の増加に伴い線形収束速度向上を達成できるか？
• RQ4 マルコフ連鎖サンプリングと通信制約下でのフェデレーテッドTD(0)の有限時間収束挙動はいかなるものか？
• RQ5 仮想MDPを通じてフェデレーテッドTD(0)のダイナミクスをどのように分析し、フェデレーテッド最適化理論に接続できるか？

主な発見

• 低非同一性領域では、FedTD(0)はエージェント数Nに比例する線形収束速度向上を達成し、誤差がO(1/N)で減少する。
• 反復回数Tの観点から、収束速度はO(1/T²)でバウンドされ、局所的ステップ数Kとエージェント数Nに明示的な依存関係を示す。
• 主な誤差項はO(1/(ν²NKT))とスケーリングされ、νは条件数パラメータである。エージェント数と局所的アップデートの増加により誤差が低下することが示された。
• 解析により、個々のエージェントの最適価値関数がグローバル平均から逸脱する度合いが、Nに従って減少する項でバウンドされることを確立した。
• TD固定点の摂動バウンドにより、MDP非同一性が収束目標に与える影響が定量化され、誤差伝搬の理論的制御が可能になった。
• 数値結果は、i.i.d.およびマルコフ連鎖サンプリングの両設定で、Nの増加に伴い収束と誤差低減が確認され、理論的加速が妥当であることを裏付けた。