[論文レビュー] Bellman Error Based Feature Generation using Random Projections on Sparse Spaces

Mahdi Milani Fard, Yuri Grinberg+3 more|PolyPublie (École Polytechnique de Montréal)|Jul 23, 2012

Reinforcement Learning in Robotics参考文献 34被引用数 10

ひとこと要約

本論文は、高次元でスパースな特徴空間において、ランダムプロジェクションを用いてベルマン誤差基底関数（BEBF）を高速かつ安定して生成するアルゴリズムを提案する。特徴を対数的にサイズの小さい部分空間にプロジェクションし、時系列差分に対して線形回帰を適用することで、有限サンプル保証のもとで価値関数誤差の収縮を保証する。勾配ベースの手法やランダムプロジェクション付きLSTD手法と比較して、計算効率と精度の両面で優れている。

ABSTRACT

We address the problem of automatic generation of features for value function approximation. Bellman Error Basis Functions (BEBFs) have been shown to improve the error of policy evaluation with function approximation, with a convergence rate similar to that of value iteration. We propose a simple, fast and robust algorithm based on random projections to generate BEBFs for sparse feature spaces. We provide a finite sample analysis of the proposed method, and prove that projections logarithmic in the dimension of the original space are enough to guarantee contraction in the error. Empirical results demonstrate the strength of this method.

研究の動機と目的

• 高次元でスパースな状態空間における価値関数近似のためのスケーラブルで自動的な特徴生成の課題に取り組むこと。
• ドメイン特化の特徴工学を必要とせずに、ベルマン誤差基底関数（BEBF）を効率的に生成する手法を開発すること。
• 計算効率を維持しつつ、有限サンプルにおける誤差収縮に関する理論的保証を提供すること。
• 最小限のハイパーパrameterチューニングで、大規模強化学習問題におけるロバストで高速な政策評価を可能にすること。

提案手法

• 本手法は、元の次元に対して対数的にサイズが小さい部分空間に特徴をプロジェクションすることで、スパースな特徴空間の次元を低減する。
• 各イテレーションにおいて、アルゴリズムは元の特徴を低次元空間にプロジェクションし、ベルマン誤差を推定するために線形回帰を適用する。
• プロジェクションされた特徴を用いて、価値関数近似の誤差が重み付きL²ノルムで収縮するように反復的に改善する。
• 理論的分析により、O(log D)回のプロジェクションで誤差収縮を保証できることを示した。ここでDは元の特徴次元である。
• 本手法はkスパース特徴の構造を活用でき、離散的および連続的状態空間（タイルコーディング表現を含む）に対応可能である。
• 推定誤差のバウンディングと安定性の確保のため、ムーア・ペンローズ一般逆行列と集中不等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元でスパースな特徴空間において、ランダムプロジェクションを用いてBEFBを効率的に生成できるか？
• RQ2 価値関数近似誤差の収縮を保証するために必要な最小のランダムプロジェクション回数は何か？
• RQ3 本手法は勾配ベース手法およびランダムプロジェクション付きLSTD手法と比較して、性能とサンプル効率で優れているか？
• RQ4 本手法は、さまざまなパrameter設定において、ロバスト性と低コストな計算をどの程度維持できるか？

主な発見

• 元の特徴次元Dに対して、O(log D)回のランダムプロジェクションで十分であり、理論的収束保証が得られる。
• 実騴結果から、本アルゴリズムは勾配ベースの特徴生成法やランダムプロジェクション付きLSTDと比較して、サンプル効率および最終誤差の両面で優れていることが示された。
• 計算効率が高く、特徴数に対して多対数的時間でイテレーションが実行されるため、高次元空間へのスケーラビリティが確保される。
• メモリ複雑度が低く、ハイパーパrameterの選択に強く依存せず、実用上最小限のチューニングで運用可能である。
• 理論的分析により、元の特徴空間が大きくスパースであっても、有限サンプル条件下で誤差収縮を維持することが確認された。