[論文レビュー] Finite-Sample Analysis of Decentralized Temporal-Difference Learning with Linear Function Approximation

Jun Sun, Gang Wang+3 more|arXiv (Cornell University)|Nov 3, 2019

Reinforcement Learning in Robotics参考文献 30被引用数 7

ひとこと要約

本稿は、マルコフ連鎖データのもとで線形関数近似を用いた分散型時系列差分（TD）学習の最初の有限標本解析を提示する。マルコフ連鎖データのもとで、最適値関数の小さな近傍への線形収束を確立するために、新規の多段階リャプノフ関数を用いる。解析はi.i.d.およびマルコフ連鎖の両方の標本をカバーし、追加の投影ステップなしに勾配バイアス問題を解決する。

ABSTRACT

Motivated by the emerging use of multi-agent reinforcement learning (MARL) in engineering applications such as networked robotics, swarming drones, and sensor networks, we investigate the policy evaluation problem in a fully decentralized setting, using temporal-difference (TD) learning with linear function approximation to handle large state spaces in practice. The goal of a group of agents is to collaboratively learn the value function of a given policy from locally private rewards observed in a shared environment, through exchanging local estimates with neighbors. Despite their simplicity and widespread use, our theoretical understanding of such decentralized TD learning algorithms remains limited. Existing results were obtained based on i.i.d. data samples, or by imposing an `additional' projection step to control the `gradient' bias incurred by the Markovian observations. In this paper, we provide a finite-sample analysis of the fully decentralized TD(0) learning under both i.i.d. as well as Markovian samples, and prove that all local estimates converge linearly to a small neighborhood of the optimum. The resultant error bounds are the first of its type---in the sense that they hold under the most practical assumptions ---which is made possible by means of a novel multi-step Lyapunov analysis.

研究の動機と目的

• 現実的であるマルコフ連鎖データのもとで分散型TD(0)学習に有限標本収束保証が欠如している問題を解決する。
• 時間に相関のあるデータが分散型TD学習に大きな勾配バイアスを引き起こすという課題を克服する。
• 追加の投影ステップなしに、実用的仮定のもとで成り立つ収束バウンドを提供する。
• i.i.d.およびマルコフ連鎖設定の両方で、最適パラメータの小さな近傍への線形収束を確立する。
• 分散型TD(0)の非漸近的解析を可能にするために、新規の多段階リャプノフ関数を開発する。

提案手法

• エージェントが隣接エージェントと局所的パラメータ推定値を交換し、局所的報酬を用いて更新する完全に分散型のTD(0)アルゴリズムを提案する。
• 複数の時間ステップにわたる誤差ダイナミクスを分析するために、新規の多段階リャプノフ関数を導入する。
• マルコフ連鎖設定における勾配バイアスを、第I期（非定常）および第II期（定常性への混合）の二段階分解を用いて分析する。
• 行列ノルムおよび固有値の性質を用いて、局所的推定値の最適パラメータからの期待二乗偏差をバウンドすることで、有限標本誤差バウンドを導出する。
• 動的システムの観点とODE近似を用いて、離散的時間更新と連続的時間軌道を結びつける。
• 適切に選ばれたステップサイズおよびネットワークトポロジーのパラメータを用いて、誤差項の減衰を制御することで収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.仮定に依存せずに、マルコフ連鎖データのもとで分散型TD(0)学習の有限標本収束を確立できるか？
• RQ2 時間に相関のあるサンプルが引き起こす勾配バイアスは、分散型TD(0)学習の収束にどのように影響するか？
• RQ3 バイアスを制御するための追加の投影ステップなしに、最適解の小さな近傍への線形収束を達成できるか？
• RQ4 ネットワークトポロジーおよび混合時間は、線形関数近似を用いた分散型TD(0)の収束速度にどのように寄与するか？
• RQ5 分散設定におけるi.i.d.とマルコフ連鎖のサンプリングレジームの間で、誤差バウンドはどのように異なるか？

主な発見

• 提案された分散型TD(0)アルゴリズムは、i.i.d.およびマルコフ連鎖データの両方のもとで、最適パラメータの小さな近傍への線形収束を示す。
• マルコフ連鎖の場合の誤差バウンドは二段階構造を示す：第I期（非定常）では定数近傍サイズ、第II期（混合）では幾何的減衰。これは勾配バイアスの低減に起因する。
• 最終近傍のサイズは、$\frac{2c_5c_8'}{K_{\mathcal{G}}\lambda_{\rm max}^{\bar{\bm{H}}}}\alpha + \min\{1, c_7^{k-k_\alpha}\}(\alpha^2 c_6 - \frac{2c_5c_8'}{K_{\mathcal{G}}\lambda_{\rm max}^{\bar{\bm{H}}}})$ でバウンドされ、マルコフ連鎖が混合した後は幾何的に消滅する。
• 収束速度は線形であり、誤差は $c_9^k V_0'$ として減衰する。ここで $c_9 = \max\{ (\lambda_2^{\bm{W}} + 2\alpha_{\rm max})^2, c_7 \}$ であり、指数的減衰を示す。
• 本解析は、追加の投影ステップを要しない、マルコフ連鎖観測のもとでの分散型TD(0)の最初の有限標本誤差バウンドを提供する。
• 100状態および10次元パラメータを有する30エージェントネットワークにおけるシミュレーションは、平均パラメータの線形収束およびエージェント間のコンSENSUSを確認し、理論的結果を検証する。