[論文レビュー] Adaptive Lambda Least-Squares Temporal Difference Learning

Timothy Mann, Hugo Penedones+2 more|arXiv (Cornell University)|Dec 30, 2016

Reinforcement Learning in Robotics参考文献 11被引用数 9

ひとこと要約

本稿では、LSTD($λ$)における$λ$ハイパーパrameterを効率的にチューニングするためのパラメータフリーなアルゴリズム、Adaptive $λ$ Least-Squares Temporal Difference Learning (ALLSTD) を提案する。この手法は、Leave-One-Trajectory-Out Cross-Validation (LOTO-CV) の効率的実装を用いて、$O(kn)$から$O(k)$への評価回数の削減を実現し、MSVE（Mean Squared Value Error）性能をほぼ最適に保ちつつ、ナーブなLOTO-CVよりも著しく高速である。これにより、実世界のRL応用における自動$λ$選択が現実可能となる。

ABSTRACT

Temporal Difference learning or TD($λ$) is a fundamental algorithm in the field of reinforcement learning. However, setting TD's $λ$ parameter, which controls the timescale of TD updates, is generally left up to the practitioner. We formalize the $λ$ selection problem as a bias-variance trade-off where the solution is the value of $λ$ that leads to the smallest Mean Squared Value Error (MSVE). To solve this trade-off we suggest applying Leave-One-Trajectory-Out Cross-Validation (LOTO-CV) to search the space of $λ$ values. Unfortunately, this approach is too computationally expensive for most practical applications. For Least Squares TD (LSTD) we show that LOTO-CV can be implemented efficiently to automatically tune $λ$ and apply function optimization methods to efficiently search the space of $λ$ values. The resulting algorithm, ALLSTD, is parameter free and our experiments demonstrate that ALLSTD is significantly computationally faster than the naïve LOTO-CV implementation while achieving similar performance.

研究の動機と目的

• MSVE（Mean Squared Value Error）の最小化として$λ$選択問題を形式化し、バイアス-バリアンストレードオフとして定式化すること。
• 手動チューニングを回避し推定誤差を低減するデータ駆動型の$λ$選択手法の開発。
• ナーブな実装に比べて費用が高騰する課題を克服するため、LSTD($λ$)フレームワーク内でのLOTO-CVの効率的計算を可能にすること。
• 多様な環境でMSVEを最小化するパラメータフリーなアルゴリズムとして、$λ$を自動的に選択すること。
• 最適な手動チューニング$λ$値と同等またはそれを上回る性能を示しながら、計算効率も高いALLSTDアルゴリズムの実現。

提案手法

• MSVEの最小化として$λ$選択を形式化し、バイアス-バリアンストレードオフとして扱う。
• 異なる$λ$値に対するMSVE推定のためのLeave-One-Trajectory-Out Cross-Validation (LOTO-CV) を提案する。
• 行列の構造を活用してLSTD($λ$)におけるLOTO-CVを効率的に計算するアルゴリズムを導出することで、計算量を$O(kn)$から$O(k)$に削減する。
• 効率的なLOTO-CVを関数最適化と統合し、離散的な$λ$値の集合を探索する。
• 手動チューニングや追加のハイパーパrameterを必要とせず、$λ$を自動的に選択するパラメータフリーなアルゴリズムとしてALLSTDを実装する。
• 標準的なLSTDの仮定の下で、ALLSTDが最適な仮説に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の交差検証を用いて、価値関数推定におけるMSVEを最小化するための$λ$を自動的に選択できるか？
• RQ2 ナーブなアプローチに比べて$O(kn)$のコストがかかる課題を回避するため、LSTD($λ$)フレームワーク内でのLOTO-CVの効率的実装は可能か？
• RQ3 異なる環境において、ALLSTDのMSVE性能は、手動チューニングされた$λ$値と比べてどうか？
• RQ4 ナーブなLOTO-CV実装よりも著しく高速でありながら、近似的に最適なMSVEを達成できるか？
• RQ5 特徴表現の品質やトラジェクトリ数の異なる環境においても、ALLSTDはロバスト性を維持できるか？

主な発見

• ALLSTDは、グリッドワールド、ランダムウォーク、マウンテンカーモデルを含む、すべての評価ドメインで最良の手動チューニング$λ$値と同等のMSVE性能を達成した。
• ランダムウォークドメインでは、少数のトラジェクトリでも、不適切にチューニングされた$λ$値よりもMSVEが著しく低減された。
• 特徴が劣っているマウンテンカーモデルでは$λ=1$が誤差を最小化するが、ALLSTDはこの最適値を的確に同定した。
• LSTDの評価回数を$O(kn)$から$O(k)$に削減することで、ナーブなLOTO-CVに比べて著しく高速な実行が実現された。
• RLSTD や最適$λ$をチューニングしたLSTDといった最先端手法と同等またはそれ以上の性能を示したが、パラメータフリーかつスケーラブルである。
• 多様な環境において一貫した性能を示したため、実世界のRL応用におけるロバスト性と実用性が確認された。