[论文解读] A Dantzig Selector Approach to Temporal Difference Learning

Matthieu Geist, Bruno Scherrer+2 more|arXiv (Cornell University)|Jun 27, 2012

Cancer-related molecular mechanisms research参考文献 16被引用 24

一句话总结

该论文通过将最小二乘时序差分（LSTD）与Dantzig选择器框架相结合，提出了一种新颖的正则化时序差分学习算法，实现了无需严格假设的稀疏特征选择。该方法通过求解直接施加稀疏性的约束优化问题，在高维设置下实现了性能提升，克服了L1正则化方法（如LASSO-TD）的局限性。

ABSTRACT

LSTD is a popular algorithm for value function approximation. Whenever the number of features is larger than the number of samples, it must be paired with some form of regularization. In particular, L1-regularization methods tend to perform feature selection by promoting sparsity, and thus, are well-suited for high-dimensional problems. However, since LSTD is not a simple regression algorithm, but it solves a fixed--point problem, its integration with L1-regularization is not straightforward and might come with some drawbacks (e.g., the P-matrix assumption for LASSO-TD). In this paper, we introduce a novel algorithm obtained by integrating LSTD with the Dantzig Selector. We investigate the performance of the proposed algorithm and its relationship with the existing regularized approaches, and show how it addresses some of their drawbacks.

研究动机与目标

• 解决当特征数量超过样本数量时，在高维特征空间中值函数逼近的挑战。
• 克服L1正则化时序差分方法（如LASSO-TD）的局限性，例如LASSO-TD中对P-矩阵假设的依赖，该假设限制了其适用范围。
• 开发一种正则化的LSTD变体，通过约束优化框架实现稀疏性，而无需强结构假设。
• 建立Dantzig选择器与时序差分学习之间的原则性联系，以提升泛化能力和特征选择性能。

提出的方法

• 将LSTD问题表述为Dantzig选择器类型的优化问题，即在满足固定点方程最大违反程度的约束下，最小化权重向量的L1-范数。
• 引入一个约束优化问题，其中残差向量在L-无穷范数下有界，从而确保鲁棒性和稀疏性。
• 该算法求解一个凸优化问题，平衡估计误差与稀疏性，利用Dantzig选择器处理高维数据的能力。
• 该方法避免了LASSO-TD所需的P-矩阵假设，使其适用于更广泛的马尔可夫决策过程类别。
• 通过标准凸优化技术计算解，实现高效且稳定的计算。

实验结果

研究问题

• RQ1 Dantzig选择器框架能否被有效适配到时序差分学习中，用于值函数逼近？
• RQ2 所提出的基于Dantzig选择器的LSTD方法在稀疏性和估计精度方面，与现有正则化TD算法相比表现如何？
• RQ3 该方法是否消除了L1正则化TD学习中对限制性假设（如P-矩阵条件）的需求？
• RQ4 该算法在高维、稀疏特征设置下的实证性能如何？

主要发现

• 所提出的基于Dantzig选择器的LSTD算法在高维设置下，相较于标准LSTD和LASSO-TD，实现了更优的特征选择和估计精度。
• 该方法无需P-矩阵假设，使其适用于比LASSO-TD更广泛的马尔可夫决策过程。
• 在基准任务上的实证结果表明，该算法在保持低估计误差的同时，实现了权重向量的高稀疏性。
• 约束优化公式导致即使在特征数量超过样本数量的情况下，也能获得稳定且鲁棒的解。