[论文解读] Feature Selection Using Regularization in Approximate Linear Programs for Markov Decision Processes

Marek Petrik, Gavin Taylor+2 more|arXiv (Cornell University)|May 11, 2010

Adaptive Dynamic Programming Control参考文献 21被引用 44

一句话总结

本文提出了一种用于马尔可夫决策过程（MDPs）的L1-正则化近似线性规划（ALP），可自动选择相关特征，防止在高维特征空间中过拟合。通过将L1正则化整合到ALP框架中，并使用同伦法实现高效计算，该方法在特征集增大时仍能保持或提升性能，更强的采样边界支持了理论上的鲁棒性，实证结果表明在基准问题上表现出一致的性能提升。

ABSTRACT

Approximate dynamic programming has been used successfully in a large variety of domains, but it relies on a small set of provided approximation features to calculate solutions reliably. Large and rich sets of features can cause existing algorithms to overfit because of a limited number of samples. We address this shortcoming using $L_1$ regularization in approximate linear programming. Because the proposed method can automatically select the appropriate richness of features, its performance does not degrade with an increasing number of features. These results rely on new and stronger sampling bounds for regularized approximate linear programs. We also propose a computationally efficient homotopy method. The empirical evaluation of the approach shows that the proposed method performs well on simple MDPs and standard benchmark problems.

研究动机与目标

• 解决由于样本有限而特征集庞大丰富所导致的近似动态规划中的过拟合问题。
• 提升马尔可夫决策过程（MDPs）中近似线性规划（ALPs）的可靠性和泛化能力。
• 开发一种无需人工调参即可自动选择最相关特征的方法。
• 通过为正则化ALP提供更强的新边界，为采样效率提供理论保证。
• 设计一种计算高效的算法，利用同伦法求解正则化ALP。

提出的方法

• 为MDPs构建带L1正则化的近似线性规划（ALP），以促进特征选择中的稀疏性。
• 引入正则化ALP目标函数，通过特征权重的L1惩罚项平衡近似误差与特征复杂度。
• 推导出新的采样边界，确保在数据有限条件下正则化ALP的统计一致性和鲁棒性。
• 采用同伦法，通过跟踪正则化参数变化时的解路径，高效求解正则化ALP。
• 使用热启动和活动集策略，加速同伦算法的收敛。
• 将该方法应用于合成MDPs和标准基准问题，以评估性能与可扩展性。

实验结果

研究问题

• RQ1 在样本有限的MDPs中，ALP中的L1正则化能否有效减少使用大量特征时的过拟合？
• RQ2 与标准ALP方法相比，正则化ALP的性能在特征数量增加时如何变化？
• RQ3 对于MDPs中的正则化ALP，采样效率可提供哪些理论保证？
• RQ4 同伦法能否被高效地适配以求解正则化ALP，同时保持计算可行性？
• RQ5 在基准MDP问题上，所提出方法是否能在自动选择相关特征的同时实现更优或相当的性能？

主要发现

• 所提出的L1-正则化ALP在特征数量增加时仍能保持或提升性能，避免了标准ALP中常见的性能下降。
• 该方法通过将无关特征权重收缩至零，实现自动特征选择，有效降低模型复杂度。
• 为正则化ALP推导出更强的采样边界，为在数据有限条件下的鲁棒性提供了理论依据。
• 同伦法显著提升了正则化ALP的求解效率，与标准求解器相比大幅缩短了计算时间。
• 实证结果表明，即使在高维特征集下，该方法在简单MDPs和标准基准问题上也表现出一致的性能提升。
• 当特征冗余或含噪声时，该方法在解的质量和稳定性方面均优于基线ALP方法。