[論文レビュー] Incremental Truncated LSTD

Clement Gehring, Yangchen Pan+1 more|arXiv (Cornell University)|Nov 26, 2015

Reinforcement Learning in Robotics参考文献 31被引用数 3

ひとこと要約

本論文では、LSTD行列の逐次的低ランク近似であるt-LSTD(λ)を提案する。この手法は、特徴行列の特異値分解（SVD）を切り詰めて保持することで、計算量と記憶容量をO(d²)からO(dr)に削減する。この方法により、TDに類似した計算効率とLSTDに近いサンプル効率を両立し、ステップサイズのチューニングを必要とせず、ベンチマークおよび高次元ドメインにおいてTDおよびiLSTDを上回る性能を達成する。

ABSTRACT

Balancing between computational efficiency and sample efficiency is an important goal in reinforcement learning. Temporal difference (TD) learning algorithms stochastically update the value function, with a linear time complexity in the number of features, whereas least-squares temporal difference (LSTD) algorithms are sample efficient but can be quadratic in the number of features. In this work, we develop an efficient incremental low-rank LSTD(λ) algorithm that progresses towards the goal of better balancing computation and sample efficiency. The algorithm reduces the computation and storage complexity to the number of features times the chosen rank parameter while summarizing past samples efficiently to nearly obtain the sample complexity of LSTD. We derive a simulation bound on the solution given by truncated low-rank approximation, illustrating a bias- variance trade-off dependent on the choice of rank. We demonstrate that the algorithm effectively balances computational complexity and sample efficiency for policy evaluation in a benchmark task and a high-dimensional energy allocation domain.

研究の動機と目的

• 強化学習における価値関数近似において、計算効率とサンプル効率のトレードオフを解消すること。
• 標準的なLSTDのO(d²)の記憶容量と計算量を、切り詰めSVDによる低ランク近似によってO(dr)に削減すること。
• ランクの切り詰めによる正則化を用いた効率的で逐次的な更新を可能とし、数値的安定性と適応性を向上させること。
• タイルコーディングやRBFsのような高次元特徴空間における低ランク近似の有効性を実験的に検証すること。
• t-LSTD(λ)がステップサイズのチューニングを必要とせず、サンプル効率および計算効率の両面でTDおよびiLSTDを上回ることを示すこと。

提案手法

• アルゴリズムは、LSTD行列の逐次的切り詰めSVDを維持し、リアルタイムで特徴共分散行列の低ランク近似を更新する。
• 近似精度と計算コストのトレードオフを制御するためのランクパラメータrを用い、r番目の最大固有値以下の固有値を切り捨てることで実現する。
• 解ベクトルwは、切り詰めSVDを用いた閉形式の更新により計算され、1ステップあたりO(dr + r³)の計算量で実現可能である。
• 減衰係数βt ∈ (0,1)を用いて過去のサンプルを効果的に低減することで、非定常環境への適応が可能となる。
• 特徴量の選択にλリターンを用い、λ > 0に一般化可能であり、初期実装では閾値設定に固定のヒューリスティックを採用している。
• LSTDと同一の解構造を維持するが、SVDの切り詰めによって次元を低減した形で導出されている。

実験結果

リサーチクエスチョン

• RQ1 LSTD行列の低ランク近似は、計算コストと記憶容量を著しく削減しつつ、サンプル効率を維持できるか？
• RQ2 ランクrの選択が価値関数近似におけるバイアス-バリアンストレードオフに与える影響は何か？
• RQ3 t-LSTD(λ)は高次元特徴空間において、TDおよびiLSTDをサンプル効率および計算効率の両面で上回るか？
• RQ4 t-LSTD(λ)は、最小限のハイパーパrameterチューニングで、オンラインで逐次的な学習に効果的に使用できるか？
• RQ5 固有値の切り捨てが、価値関数推定の収束性と安定性に与える影響は何か？

主な発見

• d = 40,000の特徴を持つMountain Carのドメインにおいて、r = 40のt-LSTDが、TDおよびiLSTDを上回り、より高速かつ安定した学習を達成した。
• アルゴリズムはO(dr)の計算量でLSTDに近いサンプル効率を達成し、フルLSTDと比較して記憶容量と計算量を顕著に削減した。
• t-LSTDはステップサイズのチューニングを必要とせず、iLSTDとは異なりステップサイズの選択に非常に敏感で、発散しやすかった。
• 高次元のエネルギー割り当てドメインにおいても、スケーラビリティとロバストネスを示した。
• 実験結果から、タイルコーディングやRBFsのような一般的な特徴表現には低ランク構造が存在することが確認され、SVDの切り詰めの有効性が裏付けられた。
• 本論文で導出したシミュレーション誤差の上限は、ランクrに依存する明確なバイアス-バリアンストレードオフを示しており、rを小さくすることでバイアスが増加するが、安定性と速度が向上することが確認された。