[論文レビュー] Predecessor Features

Duncan Bailey, Marcelo G. Mattar|arXiv (Cornell University)|Jun 1, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、期待された割引過去状態特徴量の和を学習することで、最近の状態にとどまらず、より長い時間にわたる状態にまで信用配分を拡張する、ブートストラップ型の時系列差分学習手法であるPredecessor Featuresを提案する。後続表現（successor representation）を用いてTD誤差を関連する先行状態にまで伝搬させることで、表形式および関数近似の両設定において学習を加速し、価値関数近似の精度を向上させる。グリッドワールドおよびディープ強化学習タスクにおいて、標準的なTD(λ)および関連手法を上回る性能を発揮する。

ABSTRACT

Any reinforcement learning system must be able to identify which past events contributed to observed outcomes, a problem known as credit assignment. A common solution to this problem is to use an eligibility trace to assign credit to recency-weighted set of experienced events. However, in many realistic tasks, the set of recently experienced events are only one of the many possible action events that could have preceded the current outcome. This suggests that reinforcement learning can be made more efficient by allowing credit assignment to any viable preceding state, rather than only those most recently experienced. Accordingly, we examine ``Predecessor Features'', the fully bootstrapped version of van Hasselt's ``Expected Trace'', an algorithm that achieves this richer form of credit assignment. By maintaining a representation that approximates the expected sum of past occupancies, this algorithm allows temporal difference (TD) errors to be propagated accurately to a larger number of predecessor states than conventional methods, greatly improving learning speed. The algorithm can also be naturally extended from tabular state representation to feature representations allowing for increased performance on a wide range of environments. We demonstrate several use cases for Predecessor Features and compare its performance with other approaches.

研究の動機と目的

• 標準的なTD学習におけるエリギビリティトレースの限界（最近の出来事にのみ信用を配分）を是正し、任意の妥当な先行状態に対しても信用配分を可能にする。
• 後続表現とエリギビリティトレースの関係を形式化し、より洗練された信用配分メカニズムを構築する。
• 直接的に割引された先行特徴量の期待和を学習する完全にブートストラップされたアルゴリズム「Predecessor Features」を構築する。
• 表形式およびディープ強化学習環境において、価値関数近似の学習効率と精度の向上を実証する。
• Predecessor Featuresがvan Hasseltの期待トレース（Expected Trace）アルゴリズムの特殊ケースであることを確立し、より広範な適用可能性を実現する。

提案手法

• 本手法は、任意の状態から将来の状態の期待的割引占有度（discounted occupancy）を計算する後続表現（SR）を用い、TD誤差を関連する過去の状態にまで後退伝播可能にする。
• 表形式のアルゴリズムとしてTD-PRを導入し、SRを近似する行列Ψを維持し、先行状態におけるエリギビリティトレースを介してTD誤差を伝搬させる。
• 関数近似の設定では、線形TD-PFを提案し、別個の重み行列Ψを用いて先行状態の特徴表現を学習する。このΨは勾配降下法で更新される。
• 予測された先行特徴量zθ(S_t) = Ψx(S_t)をエリギビリティトレースとして用いることで、ブートストラップ更新を実現し、誤差を必ずしも最近の状態に限らず、関連する過去の状態にまで伝搬可能にする。
• 2つの学習率α（価値関数重みw用）とβ（先行特徴量行列Ψ用）を採用し、価値表現と先行特徴表現の独立した最適化を可能にする。
• 本手法が、η=1のvan Hasseltの期待トレース（ET）アルゴリズムの特殊ケースであることが形式的に示され、完全にブートストラップ可能で、効率的な手法であることが裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 時系列差分学習における信用配分を、最近の状態にとどまらず、任意の妥当な先行状態に対しても伝搬させることで改善できるか？
• RQ2 後続表現を、より効果的な信用配分を実現するための割引された先行状態の期待和を表現できるようにどのように適合できるか？
• RQ3 表形式およびディープ強化学習設定において、Predecessor Featuresが標準的なTD(λ)および期待トレース手法に対して、どの程度の性能向上をもたらすか？
• RQ4 Predecessor Featuresのブートストラップ特性は、非ブートストラップ手法と比較して、学習の安定性および収束速度にどのような影響を及えるか？
• RQ5 関数近似を用いてPredecessor Featuresを効果的に実装できるか？また、高次元状態空間においても性能向上が維持されるか？

主な発見

• Plinko（パチンコ）グリッドワールドタスクにおいて、TD-PRは、α-mが低い場合を含め、すべてのテストされたハイパーパramータ設定でTD(λ)を上回る収束速度と精度を達成した。
• 深層ニューラルネットワークを用いたCartpole環境において、Predecessor Featuresアルゴリズムは非ブートストラップ型の期待トレース（ET）手法をわずかに上回り、より優れたサンプル効率を示した。
• SR行列の学習率（α-m）を中程度の値（0.1）に設定した場合、Predecessor FeaturesはTD(λ)よりも真の価値関数への収束が速かった。
• 表形式のケースでは、SR行列が正しく学習され、Ψ行列が真の後続表現を近似し、先行状態への正確な信用配分を可能にした。
• 本手法は、van Hasseltの期待トレース（η=1）と形式的に同等であることが確認され、理論的裏付けが与えられ、完全にブートストラップ可能な信用配分への応用範囲が拡張された。
• Predecessor Featuresは、モンテカルロ法と比較して価値関数近似の分散を低減しつつ、低分散更新を維持するため、より安定した学習が可能になった。