[論文レビュー] Finite-Time Performance of Distributed Temporal Difference Learning with Linear Function Approximation

Thinh T. Doan, Siva Theja Maguluri+1 more|arXiv (Cornell University)|Jul 25, 2019

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、マルチエージェント強化学習における線形関数近似を用いた分散型時系列差分学習の有限時間解析を提示する。エージェントは局所的更新と隣接エージェントとの通信を通じて価値関数を共同で推定する。主な貢献は、ネットワークのトポロジー、割引因子、$\lambda$、幾何的混合時間 $\tau$ に依存する収束速度の上限を特定することであり、$\lambda$ が支配する近似精度と収束速度のトレードオフを明らかにする。

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning, modeled by a Markov decision process. In this problem, the agents operate in a common environment under a fixed control policy, working together to discover the value (global discounted accumulative reward) associated with each environmental state. Over a series of time steps, the agents act, get rewarded, update their local estimate of the value function, then communicate with their neighbors. The local update at each agent can be interpreted as a distributed variant of the popular temporal difference learning methods {\\sf TD}$ (\\lambda)$. Our main contribution is to provide a finite-analysis on the performance of this distributed {\\sf TD}$(\\lambda)$ algorithm for both constant and time-varying step sizes. The key idea in our analysis is to use the geometric mixing time $\ au$ of the underlying Markov chain, that is, although the "noise" in our algorithm is Markovian, its dependence is very weak at samples spaced out at every $\ au$. We provide an explicit upper bound on the convergence rate of the proposed method as a function of the network topology, the discount factor, the constant $\\lambda$, and the mixing time $\ au$. Our results also provide a mathematical explanation for observations that have appeared previously in the literature about the choice of $\\lambda$. Our upper bound illustrates the trade-off between approximation accuracy and convergence speed implicit in the choice of $\\lambda$. When $\\lambda=1$, the solution will correspond to the best possible approximation of the value function, while choosing $\\lambda = 0$ leads to faster convergence when the noise in the algorithm has large variance.

研究の動機と目的

• マルチエージェントシステムにおけるマコビアンノイズを伴う分散型時系列差分学習に対して、有限時間性能保証が不足している問題に対処すること。
• 特に、適合トレースパラメータ $\lambda$ の影響に注目して、線形関数近似下での分散型TD($\lambda$)の収束挙動を分析すること。
• ネットワークトポロジーと幾何的混合時間 $\tau$ を考慮した、推定誤差に対するきめ細かな有限時間上界を提供すること。
• 実験的観察である $\lambda=1$ が最も高い近似精度を達成する一方で $\lambda=0$ は高ノイズ分散下でより速い収束を示すという事実を説明すること。
• 従来のi.i.d.ノイズに関する研究を、より現実的である従属的でマコビアンノイズを想定した分散型マルチエージェント強化学習設定へ一般化すること。

提案手法

• 共有環境と局所報酬を有するマルチエージェントマルコフ意思決定過程における方策評価問題を定式化する。
• 各エージェントが局所的な価値関数推定値を維持し、局所報酬と隣接エージェントとの通信を用いて更新する分散型TD($\lambda$)の変種を設計する。
• マコビアンノイズの時間的弱依存性を定量化するために幾何的混合時間 $\tau$ を導入し、従属サンプルの分離を可能にする。
• マルティングールに基づく解析を適用して、推定誤差の条件付き期待値を制御し、混合時間を用いてノイズ相関を制御する。
• 期待二乗誤差 $\mathbb{E}[\|\bar{\theta}_k - \theta^*\|^2]$ の有限時間上界を $\tau$、$\gamma$、$\lambda$、ステップサイズパラメータの関数として導出する。
• 再帰的不等式とモーメントバウンドを用いて推定誤差の増大を制御し、近似誤差とサンプリングノイズの両方の影響を統合する。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いた分散型TD($\lambda$)において、$\lambda$ の選択が近似精度と収束速度のトレードオフにどのように影響するか？
• RQ2 ノイズがi.i.d.ではなくマコビアンである場合に、分散型TD($\lambda$)の有限時間収束速度はどのようになるか？
• RQ3 ネットワークトポロジーと幾何的混合時間 $\tau$ は、分散アルゴリズムの収束性能にどのように影響するか？
• RQ4 幾何的混合時間 $\tau$ は、強化学習アルゴリズムにおける従属ノイズの解析にどのような役割を果たすか？
• RQ5 割引因子 $\gamma$、$\lambda$、ネットワーク構造を明示的に考慮した分散型TD($\lambda$)の有限時間性能バウンドを導出可能か？

主な発見

• 提案された分散型TD($\lambda$)アルゴリズムは、幾何的混合時間 $\tau$、割引因子 $\gamma$、適合トレースパラメータ $\lambda$ に明示的に依存する有限時間収束を達成する。
• 期待二乗誤差 $\mathbb{E}[\|\bar{\theta}_k - \theta^*\|^2]$ の有限時間上界が導出され、$\tau$、$\alpha_k$、$\gamma$、$\lambda$、およびシステムパラメータに依存することが示された。
• $\lambda = 1$ の場合、アルゴリズムは真の価値関数の最も良い近似に収束し、近似誤差が最小化される。
• $\lambda = 0$ の場合、高分散ノイズ下でより速い収束が達成され、実験的観察と一致する。
• 収束速度の上界は $\mathcal{O}(\tau \alpha_k)$ として減少し、$\frac{(1+\gamma)^2}{(1-\gamma\lambda)^2}$ に比例してスケーリングされることから、$\lambda$ と $\gamma$ に対する感度が顕在化される。
• 本解析により、精度を求める際の $\lambda=1$ の使用や、速度を求める際の $\lambda=0$ の使用が、数学的根拠を伴って正当化される。これは分散型マルチエージェント強化学習におけるこれらの設計選択の基盤を提供する。