[論文レビュー] Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms

Thinh T. Doan|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 6

ひとこと要約

本稿は、分散マルチエージェントシステムにおける局所的確率的近似（LSA）の統一的理論枠組みを導入し、各エージェントが従属的なマルコフ過程からのデータを学習する状況を扱う。有限時間収束レートがi.i.d.設定と対して対数因子の範囲内であることを確立し、現実的で従属的なデータ仮定のもとで联邦学習およびマルチタスク強化学習の性能バウンドを可能にする。

ABSTRACT

Motivated by broad applications in reinforcement learning and federated learning, we study local stochastic approximation over a network of agents, where their goal is to find the root of an operator composed of the local operators at the agents. Our focus is to characterize the finite-time performance of this method when the data at each agent are generated from Markov processes, and hence they are dependent. In particular, we provide the convergence rates of local stochastic approximation for both constant and time-varying step sizes. Our results show that these rates are within a logarithmic factor of the ones under independent data. We then illustrate the applications of these results to different interesting problems in multi-task reinforcement learning and federated learning.

研究の動機と目的

• エージェントがマルコフ過程から得るデータ（i.i.d.ではなく従属的）である場合の局所的確率的近似（LSA）の有限時間収束を分析すること。
• 共通のLSAフレームワークの下で、連合学習と分散マルチタスク強化学習の理論的解析を統一すること。
• 先行研究が主にi.i.d.サンプルを仮定する中で、従属的データにおけるLSA性能の理解のギャップを埋めること。
• マルコフノイズが存在する状況下で、定数ステップサイズおよび時変ステップサイズの両方に対する明示的な収束レートを導出すること。
• 標準的な仮定のもとで、i.i.d.データの場合に達成可能なバウンドと対して対数因子の範囲内にある有限時間性能バウンドを提供すること。

提案手法

• 各エージェントが局所的確率的作用素の期待値を表す $ F_i(\theta^*) $ を持つ合成作用素 $ F(\theta^*) = \sum_{i=1}^N F_i(\theta^*) = 0 $ の根を見つける分散学習問題として定式化する。
• 各エージェントのデータをエルゴディックなマルコフ過程から生成されるものとしてモデル化し、強化学習や連合学習のような実世界の応用における時間的依存性を捉える。
• 各エージェントが中央のコーディネータと同期する前に自身のデータを用いて複数回の局所ステップを実行する、局所更新スキームを適用する。
• 時変ステップサイズ $ \alpha_k $ を用い、反復の平均二乗誤差の収束レートを真の解に向けて分析する。
• リプシッツ連続性、有界性、作用素のヤコビアンの負定値性を含む、確率的近似理論の標準的仮定を採用する。
• リャプノフ関数のアプローチとマルティングール差分分解を用いて、マルコフノイズを扱う収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 各エージェントのデータがマルコフ過程から生成される場合、局所的確率的近似の有限時間収束レートはいかほどか？
• RQ2 マルコフ過程からのデータにおけるLSAの収束レートは、i.i.d.データの場合と比べてどう異なるか？
• RQ3 局所的確率的近似の理論的枠組みは、連合学習とマルチタスク強化学習の両者に統一的に適用可能か？
• RQ4 従属的データのもとで、線形関数近似を用いた分散Q学習の性能バウンドは何か？
• RQ5 局所的確率的近似アルゴリズムが、i.i.d.ケースと比較して対数因子の範囲内に収束するための条件は何か？

主な発見

• マルコフ過程からのデータにおける局所的確率的近似の有限時間収束レートは、i.i.d.データの場合のレートと対数因子の範囲内に収まる。
• 定数ステップサイズおよび時変ステップサイズの両方において、平均二乗誤差の減少レートが、i.i.d.設定の理論的バウンドと対数因子の範囲内で一致する。
• 収束結果は、クライアントがモデル集約の前に局所更新を実行する連合学習にも適用可能であり、現実的なデータの依存性を反映する。
• 本フレームワークは、分散TD(λ)や線形関数近似を用いたQ学習といったマルチタスク強化学習アルゴリズムの解析を統一的に可能にする。
• 線形関数近似を用いた分散Q学習に対して、有限時間性能バウンドが導出され、マルコフサンプリング下でも収束が保証される。
• 標準的仮定（有界な報酬、フルランクの特徴量行列、不可約かつ非周期的なマルコフ連鎖）のもとで、収束のための条件が満たされ、理論的バウンドが適用可能となる。