[論文レビュー] Target Transfer Q-Learning and Its Convergence Analysis

Yue Wang, Qi Meng+4 more|arXiv (Cornell University)|Sep 21, 2018

Distributed Sensor Networks and Detection Algorithms被引用数 4

ひとこと要約

本稿では、特定の安全条件を満たした場合に、ソースタスクのQ関数をターゲットタスクに転送することで学習を加速する、新しい強化学習手法であるターゲット転送Qラーニング（TTQL）を提案する。この手法は、転送されたQ関数のベルマン誤差を安全基準として用いることで、標準的なQラーニングよりも高速に収束を実現し、ソースとターゲットのMDPの類似性がある場合に収束速度の理論的保証を提供する。

ABSTRACT

Q-learning is one of the most popular methods in Reinforcement Learning (RL). Transfer Learning aims to utilize the learned knowledge from source tasks to help new tasks to improve the sample complexity of the new tasks. Considering that data collection in RL is both more time and cost consuming and Q-learning converges slowly comparing to supervised learning, different kinds of transfer RL algorithms are designed. However, most of them are heuristic with no theoretical guarantee of the convergence rate. Therefore, it is important for us to clearly understand when and how will transfer learning help RL method and provide the theoretical guarantee for the improvement of the sample complexity. In this paper, we propose to transfer the Q-function learned in the source task to the target of the Q-learning in the new task when certain safe conditions are satisfied. We call this new transfer Q-learning method target transfer Q-Learning. The safe conditions are necessary to avoid the harm to the new tasks and thus ensure the convergence of the algorithm. We study the convergence rate of the target transfer Q-learning. We prove that if the two tasks are similar with respect to the MDPs, the optimal Q-functions in the source and new RL tasks are similar which means the error of the transferred target Q-function in new MDP is small. Also, the convergence rate analysis shows that the target transfer Q-Learning will converge faster than Q-learning if the error of the transferred target Q-function is smaller than the current Q-function in the new task. Based on our theoretical results, we design the safe condition as the Bellman error of the transferred target Q-function is less than the current Q-function. Our experiments are consistent with our theoretical founding and verified the effectiveness of our proposed target transfer Q-learning method.

研究の動機と目的

• 高コストなサンプル量を要するQラーニングの収束が遅いという問題に対処すること。
• 既存のヒューリスティック手法とは異なり、理論的収束保証を提供する強化学習の転移学習手法を開発すること。
• 事前に学習されたQ関数をソースタスクからターゲットタスクに転送することで、学習が向上する安全な条件を同定すること。
• MDPの類似性と転送Qラーニングの収束速度の間の理論的枠組みを確立すること。
• ベルマン誤差に基づく、実用的で検証可能な安全条件を設計し、アルゴリズムの安定性と収束を保証すること。

提案手法

• ターゲットタスクの時系列差分更新におけるターゲットとして、ソースタスクのQ関数を用いるターゲット転送Qラーニング（TTQL）を提案する。
• 安全条件としてベルマン誤差に基づくもの：転送されたQ関数の最大ベルマン誤差が、ターゲットタスクの現在のQ関数の最大ベルマン誤差以下でなければならない。
• 収束速度の分析に、割引相対Q関数誤差比 $\gamma\beta$ をキーメトリクスとして用いる。ここで $\beta$ は転送されたQ関数の相対誤差を表す。
• 理論的バウンディングを導出し、収束は $\gamma\beta < 1$ の場合にのみ保証され、$\gamma\beta$ が小さいほど収束が速くなることを示す。
• 最大ノルム誤差（MNE）と最大ベルマン誤差（MNBE）の数学的関係 $\mathbf{MNE}(Q) \leq \frac{\mathbf{MNBE}(Q)}{1 - \gamma}$ を確立し、ベルマン誤差を用いたQ関数誤差の実用的推定を可能にする。
• 2段階の分析を採用：TTQLの誤差は初期化誤差とサンプリング誤差に分解され、両者とも $\gamma\beta$ に依存する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、ソースタスクのQ関数をターゲットタスクに転送することで、Qラーニングの学習速度が向上するか？
• RQ2 異なるタスク間で知識を転送する際、転送Qラーニングの収束を理論的に保証するにはどうすればよいか？
• RQ3 有害な転送を防ぎ、収束を保証するための安全で検証可能な条件として、どのような指標が適しているか？
• RQ4 ソースとターゲットのMDPの類似性が、TTQLの収束速度にどのように影響するか？
• RQ5 転送されたQ関数のベルマン誤差を、Q関数の相対誤差の実用的代理指標として用いることができるか？これにより、リアルタイムでの安全確認が可能になるか？

主な発見

• ソースタスクとターゲットタスクの最適Q関数の類似度が、割引相対誤差比 $\gamma\beta$ で測定される限り、TTQLは標準的なQラーニングよりも高速に収束する。
• TTQLの収束は、割引相対誤差比 $\gamma\beta < 1$ の場合にのみ保証され、$\gamma\beta$ が1に近づくほど収束が遅くなる。
• ベルマン誤差に基づく安全条件（$\mathbf{MNBE}(Q_1^*) \leq \mathbf{MNBE}(Q_n)$）により、転送されたQ関数が現在の推定値より悪くならないことが保証され、劣化を防止する。
• 実験により、TTQLはすべてのMDPの変種（$\gamma$, $r$, $P$ に関して）で標準的なQラーニングを上回り、類似度の高いソース・ターゲットペアではより速い収束を示す。
• 安全条件は不可欠である：安全条件なしのTTQLは一部のケースで収束に失敗し、その必要性が実証された。
• 理論的関係 $\mathbf{MNE}(Q) \leq \frac{\mathbf{MNBE}(Q)}{1 - \gamma}$ により、計算的に実行可能なベルマン誤差を用いたQ関数誤差の推定が可能になった。