[論文レビュー] A Convergent Online Single Time Scale Actor Critic Algorithm

Dotan Di Castro, Ron Meir|ArXiv.org|Sep 16, 2009

Multimedia Communication and Technology被引用数 11

ひとこと要約

本論文は、エージェントとクライアントの両方の更新に同じ時間スケールを用い、共通の時系列差分（TD）信号を両者に使用する、新しいオンラインのアクタ・クリティック強化学習アルゴリズムを提案する。従来の手法とは異なり、収束のために2つの異なる時間スケールを必要としないが、平均報酬の局所的最大値の近傍に収束することを保証しており、近傍のサイズはアルゴリズムのパラメータによって制御可能であり、生物学的に妥当な学習メカニズムを提供する。

ABSTRACT

Actor-Critic based approaches were among the first to address reinforcement learning in a general setting. Recently, these algorithms have gained renewed interest due to their generality, good convergence properties, and possible biological relevance. In this paper, we introduce an online temporal difference based actor-critic algorithm which is proved to converge to a neighborhood of a local maximum of the average reward. Linear function approximation is used by the critic in order estimate the value function, and the temporal difference signal, which is passed from the critic to the actor. The main distinguishing feature of the present convergence proof is that both the actor and the critic operate on a similar time scale, while in most current convergence proofs they are required to have very different time scales in order to converge. Moreover, the same temporal difference signal is used to update the parameters of both the actor and the critic. A limitation of the proposed approach, compared to results available for two time scale convergence, is that convergence is guaranteed only to a neighborhood of an optimal value, rather to an optimal value itself. The single time scale and identical temporal difference signal used by the actor and the critic, may provide a step towards constructing more biologically realistic models of reinforcement learning in the brain.

研究の動機と目的

• アクタとクリティックの更新に2つの異なる時間スケールを必要としない強化学習アルゴリズムの開発。
• 従来の2時間スケールアクタ・クリティック手法よりも弱い時間スケール仮定のもとでの収束証明の提供。
• 異なる神経処理速度を必要としないため、より生物学的に妥当な強化学習のモデル化を実現。
• アルゴリズムのパラメータを用いて収束近傍のサイズを制御し、実用的な安定性を確保。
• アクタとクリティックの両方のコンポonentでTD信号の使用を統一し、より一貫性のある学習プロセスを実現。

提案手法

• クリティックは線形関数近似を用いて価値関数を推定し、時系列差分（TD）誤差に基づいてパラメータを更新する。
• アクタは同じTD信号を用いて方策パラメータを更新し、別個の価値推定や信号源の必要性を排除する。
• アクタとクリティックは同じ時間スケールで同時に更新され、従来の手法で求められる「遅い・速い」分離を回避する。
• アルゴリズムは勾配ベースの方策更新ルールを採用し、方策勾配はTD信号を用いて推定する。
• 収束はリャプノフ型の解析を用いて証明され、パラメータの軌道が有界であり、局所最適解の近傍に近づくことが示された。
• 収束近傍のサイズは解析的に有界であり、学習率や近似誤差項などのハイパーパラメータを用いて調整可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 アクタとクリティックが同じ時間スケールで更新される場合、平均報酬の局所的最大値に収束可能か？
• RQ2 時間スケールの分離を排除することで、強化学習における収束の安定性と速度にどのような影響があるか？
• RQ3 単一時間スケールのアクタ・クリティックフレームワークにおいて、収束近傍のサイズをどのように制御できるか？
• RQ4 安定に動作する形で、同じTD信号を用いてクリティックの価値推定とアクタの方策改善の両方に使用可能か？
• RQ5 このアルゴリズムは、脳における生物学的に妥当な強化学習のモデルをどの程度サポートするか？

主な発見

• 2時間スケール分離がないため、最適解ではなく平均報酬の局所的最大値の近傍に収束する。
• 収束近傍のサイズは有界であり、学習率や近似誤差の上限といったアルゴリズムパラメータによって制御可能である。
• 従来の2時間スケール手法よりも弱い仮定のもとで収束証明が成立し、より広い問題クラスに適用可能である。
• アクタとクリティックの両方に同じTD信号を使用することで、学習アーキテクチャが単純化され、生物学的妥当性が向上する。
• クリティックが完全に収束する前にアクタを更新する必要がなくなるため、より迅速な適応が可能になる。
• 理論的解析により、パラメータの軌道が有界であり、方策勾配が小さい領域に収束することが確認され、近似的に最適であることが示された。