[論文レビュー] A Dantzig Selector Approach to Temporal Difference Learning

Matthieu Geist, Bruno Scherrer+2 more|arXiv (Cornell University)|Jun 27, 2012

Cancer-related molecular mechanisms research参考文献 16被引用数 24

ひとこと要約

本稿では、最小二乗時系列差分（LSTD）とDantzig Selectorフレームワークを統合することで、制限のない仮定を必要としないスパース特徴選択を可能にする、新しい正則化時系列差分学習アルゴリズムを提案する。この手法は、L1正則化アプローチ（例：LASSO-TD）の限界を克服し、特徴数がサンプル数を上回る高次元設定でも優れた性能を発揮する。スパース性を直接制約する最適化問題を解くことで、特徴選択の精度を向上させる。

ABSTRACT

LSTD is a popular algorithm for value function approximation. Whenever the number of features is larger than the number of samples, it must be paired with some form of regularization. In particular, L1-regularization methods tend to perform feature selection by promoting sparsity, and thus, are well-suited for high-dimensional problems. However, since LSTD is not a simple regression algorithm, but it solves a fixed--point problem, its integration with L1-regularization is not straightforward and might come with some drawbacks (e.g., the P-matrix assumption for LASSO-TD). In this paper, we introduce a novel algorithm obtained by integrating LSTD with the Dantzig Selector. We investigate the performance of the proposed algorithm and its relationship with the existing regularized approaches, and show how it addresses some of their drawbacks.

研究の動機と目的

• 特徴数がサンプル数を上回る高次元特徴空間における価値関数近似の課題に対処すること。
• LASSO-TDに見られるP行列仮定のような制限的仮定を伴うL1正則化TD手法の限界を克服すること。
• 強い構造的仮定を必要とせず、制約付き最適化フレームワークを通じてスパース性を促進する正則化LSTDの変種を開発すること。
• Dantzig Selectorと時系列差分学習の間の原理的関係を確立し、一般化性能と特徴選択の両方を向上させること。

提案手法

• LSTD問題をDantzig Selector型最適化として定式化し、重みベクトルのL1ノルムを最小化するが、固定点方程式の最大違反を制約に組み込む。
• 残差ベクトルがL∞ノルムで有界である制約付き最適化問題を導入し、ロバスト性とスパース性を確保する。
• 推定誤差とスパース性のバランスを取る凸最適化問題を解くことで、高次元データの処理に適したDantzig Selectorの能力を活用する。
• LASSO-TDが要請するP行列仮定を回避するため、より広範なMDPのクラスに適用可能となる。
• 標準的な凸最適化技術を用いて解を計算し、効率的かつ安定した計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 Dantzig Selectorフレームワークは、価値関数近似のための時系列差分学習に効果的に適応可能か？
• RQ2 提案されたDantzig Selectorに基づくLSTD手法は、既存の正則化TDアルゴリズムと比較して、スパース性と推定精度の両面で優れているか？
• RQ3 L1正則化TD学習における制限的仮定（例：P行列条件）の必要性がこの手法によって排除されるか？
• RQ4 このアルゴリズムは、高次元かつスパースな特徴設定において、実験的にどの程度の性能を示すか？

主な発見

• 提案されたDantzig Selectorに基づくLSTDアルゴリズムは、高次元設定において標準LSTDやLASSO-TDと比較して、優れた特徴選択と推定精度を達成する。
• P行列仮定を必要としないため、LASSO-TDよりも広範なマルコフ決定過程のクラスに適用可能である。
• ベンチマークタスクにおける実験結果から、重みベクトルの高いスパース性を維持しながら、低い推定誤差を達成していることが示された。
• 制約付き最適化定式化により、特徴数がサンプル数を上回る場合でも、安定的かつロバストな解が得られる。