[論文レビュー] Feature Selection Using Regularization in Approximate Linear Programs for Markov Decision Processes

Marek Petrik, Gavin Taylor+2 more|arXiv (Cornell University)|May 11, 2010

Adaptive Dynamic Programming Control参考文献 21被引用数 44

ひとこと要約

本稿では、高次元の特徴空間における過学習を防ぐために、自動的に関連する特徴を選択するL1正則化付きの近似線形計画法（ALP）を、マコフ決定過程（MDP）に対して提案する。L1正則化をALPフレームワークに統合し、計算を効率化するためのホモトピー法を用いることで、特徴集合が拡大しても性能を維持または向上させることができ、理論的堅牢性を裏付けるより強いサンプリングバウンドと、ベンチマーク問題における一貫した性能向上を示す実験結果が得られた。

ABSTRACT

Approximate dynamic programming has been used successfully in a large variety of domains, but it relies on a small set of provided approximation features to calculate solutions reliably. Large and rich sets of features can cause existing algorithms to overfit because of a limited number of samples. We address this shortcoming using $L_1$ regularization in approximate linear programming. Because the proposed method can automatically select the appropriate richness of features, its performance does not degrade with an increasing number of features. These results rely on new and stronger sampling bounds for regularized approximate linear programs. We also propose a computationally efficient homotopy method. The empirical evaluation of the approach shows that the proposed method performs well on simple MDPs and standard benchmark problems.

研究の動機と目的

• 限られたサンプル数で豊富な特徴集合を用いる近似動的計画法における過学習を緩和すること。
• マコフ決定過程（MDP）における近似線形計画法（ALP）の信頼性と一般化性能を向上させること。
• 手動のチューニングなしに、最も関連性の高い特徴を自動的に選択する手法を開発すること。
• 正則化付きALPのための新しい、より強いバウンドを用いて、サンプリング効率に関する理論的保証を提供すること。
• ホモトピー法を用いて、計算的に効率的な正則化ALPの解法を設計すること。

提案手法

• 特徴選択におけるスパarsityを促進するため、L1正則化を施したMDP用の近似線形計画法（ALP）を定式化する。
• 特徴重みに対するL1ペナルティを用いて、近似誤差と特徴の複雑さのバランスを取る正則化ALPの目的関数を導入する。
• 限られたデータ下でも正則化付きALPの統計的整合性と堅牢性を保証する、新たなサンプリングバウンドを導出する。
• 正則化パラメータの変化に伴う解の経路を追跡することで、正則化ALPを効率的に解くホモトピー法を採用する。
• ホモトピー法におけるウォームスタートとアクティブセット戦略を用いて、収束を加速する。
• 性能とスケーラビリティを評価するため、合成MDPおよび標準ベンチマーク問題に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 限られたサンプル数で大規模な特徴集合を用いるMDPにおいて、ALPにL1正則化を適用することで、過学習が効果的に低減されるか？
• RQ2 標準ALP手法と比較して、特徴数の増加に伴う正則化ALPの性能はどのように変化するか？
• RQ3 MDPにおける正則化ALPのサンプリング効率について、どのような理論的保証を提供できるか？
• RQ4 計算の扱いやすさを維持しつつ、ホモトピー法を正則化ALPに効率的に適応できるか？
• RQ5 提案手法は、関連する特徴を自動で選択しながら、標準ベンチマークMDP問題において、より良いか、同等の性能を達成できるか？

主な発見

• 提案されたL1正則化付きALPは、特徴数の増加に伴って性能を維持または向上させ、標準ALPで見られる性能の低下を回避する。
• 不要な特徴重みをゼロにまで縮小することで、自動的特徴選択が達成され、モデルの複雑さが効果的に低減される。
• 正則化付きALPのためのより強いサンプリングバウンドが導出され、限られたデータ下でも堅牢性の理論的裏付けが得られた。
• ホモトピー法により、正則化ALPの解法が効率化され、標準ソルバーよりも著しく計算時間を短縮できた。
• 実験結果では、単純なMDPおよび標準ベンチマーク問題において、高次元特徴集合下でも一貫した性能向上が確認された。
• 特徴が冗長またはノイズを含む状況でも、提案手法はベースラインALP手法よりも解の質と安定性において優れた性能を示した。