[論文レビュー] Reinforcement Learning by Value Gradients

Michael Fairbank|ArXiv.org|Mar 25, 2008

Reinforcement Learning in Robotics参考文献 24被引用数 20

ひとこと要約

本論文は、連続的で決定論的な制御問題における強化学習のコアメカニズムとして、状態に関して価値関数の勾配であるバリューグラデントを導入する。価値そのものではなくバリューグラデントを学習することで、確率的探索を必要とせず、勾配に基づいた直接的な方策改善が可能となり、従来の価値学習手法と比較して収束保証と数個のオーダーの効率性向上を達成する。

ABSTRACT

The concept of the value-gradient is introduced and developed in the context of reinforcement learning. It is shown that by learning the value-gradients exploration or stochastic behaviour is no longer needed to find locally optimal trajectories. This is the main motivation for using value-gradients, and it is argued that learning value-gradients is the actual objective of any value-function learning algorithm for control problems. It is also argued that learning value-gradients is significantly more efficient than learning just the values, and this argument is supported in experiments by efficiency gains of several orders of magnitude, in several problem domains. Once value-gradients are introduced into learning, several analyses become possible. For example, a surprising equivalence between a value-gradient learning algorithm and a policy-gradient learning algorithm is proven, and this provides a robust convergence proof for control problems using a value function with a general function approximator.

研究の動機と目的

• 連続的で決定論的な制御問題において、関数近似を用いた価値関数手法に収束保証が欠如している問題に対処すること。
• 価値関数学習アルゴリズムの真の目的は、価値そのものではなくバリューグラデントであることを示すこと。
• バリューグラデント学習（VGL）が、優れた隣接軌道に対する内因的認識を提供することで、探索の必要性を排除できることを示すこと。
• VGLと方策勾配学習の間の理論的同等性を確立し、一般関数近似を用いた価値関数手法の収束証明を可能にすること。
• 一部の設定において、残差勾配項やアクタ・クリティック構造が冗長であることを批判し、その理由を示すこと。

提案手法

• 状態ベクトルに関して価値関数の勾配であるバリューグラデントを提案し、局所的軌道最適化を可能にする。
• ポントレヤーギンの最大原理と随伴ベクトルを用いて、連続時間におけるバリューグラデント学習アルゴリズムを導出する。
• バリューグラデント学習アルゴリズムと方策勾配学習の間の同等性を証明し、一般関数近似を用いた価値関数手法の収束保証を提供する。
• 確率的行動摂動を介して探索を内蔵する、新しいアクタ訓練更新を導入する。
• アクタ・クリティック構造を分析し、勾配情報によって生じる簡略化のおかげで、バリューグラデントが使用される際には冗長になることを示す。
• バックプロパゲーションスルータイム（BPTT）と微分動的プログラミング（DDP）を、バリューグラデントのターゲットの暗黙的源泉として使用する。

実験結果

リサーチクエスチョン

• RQ1 バリューグラデントは、決定論的で連続的な制御問題において、探索の必要性を排除できるか？
• RQ2 バリューグラデント学習と方策勾配学習の間に根本的な同等性があるか？
• RQ3 なぜ残差勾配手法は決定論的環境で失敗するのか？ その理論的説明は可能か？
• RQ4 バリューグラデントが使用される場合、アクタ・クリティック構造は簡略化または冗長化できるか？
• RQ5 広く用いられるTD(λ)重み更新ルールの理論的根拠は何か？ また、バリューグラデントとどのように関係するか？

主な発見

• バリューグラデント学習（VGL）は、隣接軌道に関する内因的勾配情報を提供することで、決定論的環境における局所的探索の必要性を排除する。
• バリューグラデント学習アルゴリズムは数学的に方策勾配学習と同等であり、一般関数近似を用いた価値関数手法の収束証明を可能にする。
• 残差勾配項は、VGLおよび従来の価値学習の両方において、ブートストラップノイズが存在しないため、決定論的環境では効果を発揮しない。
• バリューグラデントが使用される場合、アクタ・クリティック構造は冗長になる。なぜなら、価値勾配情報そのものが方策改善と収束に十分であるからである。
• 実験では、トロイ問題およびLunar-Landerニューラルネットワークタスクの両方で、標準的な価値学習手法と比較して数個のオーダーの効率性向上が得られ、VGLが優れた性能を示した。
• 本論文は、TD(λ)更新ルールの理論的根拠を提示し、特にλ=1の場合にバリューグラデントダイナミクスと整合することを示した。