[論文レビュー] Predictive State Temporal Difference Learning

Byron Boots, Geoffrey J. Gordon|arXiv (Cornell University)|Oct 30, 2010

Reinforcement Learning in Robotics参考文献 34被引用数 19

ひとこと要約

本稿では、線形時系列差分学習と部分空間同定を組み合わせることで、大規模な特徴量集合を最小限で予測可能な部分空間に自動的に圧縮する、予測状態時系列差分（PSTD）学習という新しいアルゴリズムを提案する。PSTDは予測情報のみを保持することで、統計的に一貫した価値関数推定を実現し、金融デリバティブの高次元的最適停止問題においてLSTDおよびLARS-TDを上回り、先行研究の最良結果比で1.24パーセンテージポイントの誤差低減を達成した。

ABSTRACT

We propose a new approach to value function approximation which combines linear temporal difference reinforcement learning with subspace identification. In practical applications, reinforcement learning (RL) is complicated by the fact that state is either high-dimensional or partially observable. Therefore, RL methods are designed to work with features of state rather than state itself, and the success or failure of learning is often determined by the suitability of the selected features. By comparison, subspace identification (SSID) methods are designed to select a feature set which preserves as much information as possible about state. In this paper we connect the two approaches, looking at the problem of reinforcement learning with a large set of features, each of which may only be marginally useful for value function approximation. We introduce a new algorithm for this situation, called Predictive State Temporal Difference (PSTD) learning. As in SSID for predictive state representations, PSTD finds a linear compression operator that projects a large set of features down to a small set that preserves the maximum amount of predictive information. As in RL, PSTD then uses a Bellman recursion to estimate a value function. We discuss the connection between PSTD and prior approaches in RL and SSID. We prove that PSTD is statistically consistent, perform several experiments that illustrate its properties, and demonstrate its potential on a difficult optimal stopping problem.

研究の動機と目的

• 高次元的または部分観測可能な状態が原因で過学習や一般化性能の低下が生じる時系列差分学習における特徴選択の課題に対処すること。
• 多数の弱く関連する特徴量から、コンパクトで予測可能な特徴部分空間を自動的に同定する手法を開発すること。
• システム同定および予測状態表現（PSR）の知見を活用することで、価値関数近似におけるデータ効率性と統計的一致性を向上させること。
• 特に金融デリバティブ価格設定において、LSTD や LARS-TD といった既存手法に比べて実世界の強化学習問題で優れた性能を示す PSTD の実用的優位性を実証すること。

提案手法

• PSTDは部分空間同定（SSID）を用いて、将来の報酬についての予測情報を最大限に保持する低次元部分空間へ、高次元特徴空間を射影する。
• 時間的に隣接する特徴量サンプルから導かれる線形圧縮演算子を適用し、予測力を保持する最小限の特徴量集合を抽出する。
• 圧縮された特徴空間上でベルマン再帰を用いて価値関数を推定し、基礎となる動的システムと整合性を保つ。
• この手法は予測状態表現（PSR）に理論的根拠を置き、圧縮された特徴量は弱い仮定のもとで真のPSR状態と漸近的に同等である。
• PSTDは統計的に一貫しており、元の状態空間のサイズではなく、動的システムの内因的次元に依存して収束することが示された。
• 合成実験および高次元的金融デリバティブを含む実世界の最適停止問題を通じて、手法の有効性が検証された。

実験結果

リサーチクエスチョン

• RQ1 高次元的または部分観測可能な環境において、特徴量圧縮のための原理的でデータ駆動型の手法が、時系列差分学習の統計的一致性とデータ効率性を向上させられるか。
• RQ2 特徴量セットにわずかに関連する特徴が多数含まれる状況において、PSTDはLARS-TD や LSTD と比べて予測精度でどのように差をつけるか。
• RQ3 PSTDの圧縮された特徴空間が、特にPSRの文脈において、真の内在的システム状態の一貫した推定器としてどの程度の役割を果たせるか。
• RQ4 特徴量圧縮に部分空間同定を用いることで、金融デリバティブ価格設定のような実世界の問題における価値関数推定および方策性能に顕著な改善がもたらされるか。

主な発見

• PSTDは、金融デリバティブの高次元的最適停止問題において、LARS-TDを1.75パーセンテージポイント上回り、最も良い先行結果よりも1.24パーセンテージポイントの誤差低減を達成した。
• 220個の特徴量を16個に圧縮することで、一貫した価値関数推定を達成し、圧縮された特徴量は真の予測状態表現（PSR）状態と漸近的に同等であることが示された。
• PSTDは、16個の手動選択特徴量または全220特徴量セットを用いたLSTDよりも優れた性能を示し、予測情報の最大化による特徴量圧縮が、手動特徴選択や全特徴量使用よりも効果的であることを示した。
• 統計的一致性が証明され、収束はPOMDP状態空間の濃度ではなく、動的システムの内因的線形次元に依存することが判明した。
• 実験では、多くの特徴量が予測にわずかに寄与する状況においてもPSTDは頑健で、データ効率性に優れ、LARS-TDのようなスパース選択手法を凌駆した。
• 結果から、PSTDによりデリバティブ価格設定における顕著なアービタージュ機会が得られ、改善された価値関数推定がより正確な証券評価を可能にするという示唆が得られた。