[論文レビュー] Greedy Algorithms for Sparse Reinforcement Learning

Christopher Painter-Wakefield, Ronald Parr|arXiv (Cornell University)|Jun 27, 2012

Energy Harvesting in Wireless Networks参考文献 22被引用数 30

ひとこと要約

本稿では、スパース強化学習におけるサンプル効率と近似精度の向上を目的として、Orthogonal Matching Pursuit (OMP) の変種である貪欲な特徴選択アルゴリズムを提案する。理論的回復保証を備えた OMP-BRM と、ベンチマークタスクにおいて精度と速度の両面で L1 正則化手法を上回る実験的性能を示す OMP-TD を導入する。

ABSTRACT

Feature selection and regularization are becoming increasingly prominent tools in the efforts of the reinforcement learning (RL) community to expand the reach and applicability of RL. One approach to the problem of feature selection is to impose a sparsity-inducing form of regularization on the learning method. Recent work on $L_1$ regularization has adapted techniques from the supervised learning literature for use with RL. Another approach that has received renewed attention in the supervised learning community is that of using a simple algorithm that greedily adds new features. Such algorithms have many of the good properties of the $L_1$ regularization methods, while also being extremely efficient and, in some cases, allowing theoretical guarantees on recovery of the true form of a sparse target function from sampled data. This paper considers variants of orthogonal matching pursuit (OMP) applied to reinforcement learning. The resulting algorithms are analyzed and compared experimentally with existing $L_1$ regularized approaches. We demonstrate that perhaps the most natural scenario in which one might hope to achieve sparse recovery fails; however, one variant, OMP-BRM, provides promising theoretical guarantees under certain assumptions on the feature dictionary. Another variant, OMP-TD, empirically outperforms prior methods both in approximation accuracy and efficiency on several benchmark problems.

研究の動機と目的

• 特徴選択を通じたスパarsity の促進によって、強化学習における高次元特徴空間の課題に対処すること。
• スパース回復における L1 正則化の限界を克服するため、理論的・実験的性能が優れた貪欲なアルゴリズムの探索。
• 時系列差分学習の RL 環境に特化した OMP ベースの手法の開発および分析。
• 既存の L1 正則化アプローチに比べ、貪欲なアルゴリズムがより高い近似精度と計算効率を達成できることを示すこと。
• OMP-BRM が真のスパース価値関数を回復できる理論的条件を確立すること。

提案手法

• 強化学習における時系列差分（TD）学習フレームワークに、Orthogonal Matching Pursuit（OMP）アルゴリズムを適応する。
• 残差 TD エラーとの相関に基づいて特徴を貪欲に選択する OMP-TD を導入する。
• 最良応答更新を用いて理論的回復保証を向上させる OMP-BRM（Best-Response Matching）を提案する。
• 特徴辞書を用いて価値関数を基本関数のスパース線形結合として表現する。
• 直交射影を適用して残差の直交性を維持し、安定的かつ効率的な特徴選択を実現する。
• TD(0) 更新ルールに貪欲な特徴選択を統合し、スパース関数近似におけるオンライン学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 OMP を用いた貪欲な特徴選択は、強化学習において L1 正則化手法に比べて、より高い近似精度と計算効率を達成できるか？
• RQ2 OMP-BRM が真のスパース価値関数を理論的に回復できる条件は何か？
• RQ3 なぜ最も自然なスパース回復シナリオが、標準的な RL 環境では失敗するのか？
• RQ4 ベンチマーク環境における収束速度と精度の観点から、OMP-TD と L1 正則化 TD 学習の比較は？
• RQ5 関数近似における RL の文脈で、貪欲選択と L1 正則化の間には、理論的・実験的トレードオフが存在するか？

主な発見

• OMP-TD は、複数のベンチマーク RL 問題において、L1 正則化手法に比べて近似精度と計算効率の両面で優れている。
• 経験データの i.i.d. 性の欠如とブートストラapping エラーの存在により、標準的な RL 環境では最も自然なスパース回復シナリオが失敗する。
• OMP-BRM は、特徴辞書とデータ分布に関する特定の仮定の下で、真のスパース価値関数の回復を理論的に保証する。
• OMP などの貪欲なアルゴリズムは、L1 手法と同等の性能を達成しつつ、実用上ははるかに高い効率性を示す。
• 実験的結果から、OMP-TD は標準的な制御タスクにおいて、L1 正則化 TD 学習よりも高速に収束し、低い誤差を達成することが示された。
• 理論的分析により、OMP-BRM が非一貫性と十分なサンプリングの条件下で正しい特徴集合の回復を保証することが明らかになった。